python 爬虫

request => response =>html json等解析 => 保存指定格式
自动模拟selenium&&webdriver || splash || PyV8、Ghost.py
保存数据：纯文本||关系型数据库||非关系型数据库||二进制文件
HTTP请求测试网站http://httpbin.org/

from selenium import webdriver
driver = webdriver.PhantomJS()
driver.get("http://m.weibo.com")
print(driver.page_source)

Urllib

urllib.request      请求模块
urllib.error        异常处理模块
urllib.parse        url解析模块
urllib.robotparser  robot.txt解析模块

requests

这里写代码片