什么是爬虫
请求网站并提取数据的自动化程序
基本流程
发起请求:通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的Header等信息,等待服务器响应。
获取响应内容:如果服务器能正常响应,会得到一个Response,Response的内容便是所要获取的页面内容,类型可能有HTML,Hson字符串,二进制数据(如图片视频)等类型。
解析内容:得到的内容可能是HTML,可以用正则表达式、网页解析库进行解析。可能是二进制数据,可以做保存或者进一步的处理。
保存数据:保存形式多样,可以保存为文本,也可以保存至数据库,或者保存特定格式的文件。
Request
请求方式:主要有GET、POST两种类型,另外还有HEAD、PUT、DELETE、OPTIONS等。
请求URL:URL全称统一资源定位符,如一个网页文档、一张图片、一个视频都可以用URL唯一来确定。
请求头:包含请求时的头部信息,如User-Agent、Host、Cookies等信息。
请求体:请求时额外携带的数据,如提交表单数据。
Response
响应状态:有多种状态,如200代表成功、301代表跳转、404找不到网页、502服务器错误。
响应头:如服务类型、内容长度、服务器信息、设置Cookies等等。
响应体:最主要的部分,包含了请求资源的内容,如网页的HTML、图片二进制数据等。
能抓什么样的数据?
1. 网页文本
2. 图片(二进制)
3. 视频(同为二进制文件,保存为视频格式即可)
4. 其他 只要是能请求到的,都能获取
怎样解析?
1. 直接处理
2. JSON解析
3. 正则表达式
4. BeautifulSoup
5. PyQuery
6. XPath
解决Js的渲染问题
1. 分析Ajax请求
2. Selenium/Webdriver
在使用Requests包时,我们这样只能显示原本的HTML代码:
import requests
#请求微博
response = requests.get("https://m.weibo.com/")
response.text
但是使用Selenium下的webdriver.page_source就可以将最终的网页渲染代码提取出来,代码如下:
from selenium import webdriver
driver = webdriver.Chrome()
driver.get("http://m.weibo.com")
driver.page_source
3. splash
4. Pyv8、ghost.py
怎样保存数据