1.什么是爬虫?
请求网站并提取数据的自动化程序
2.爬虫基本流程
(1)发起请求
通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的headers等信息,等待服务器响应。
(2)获取响应内容
如果服务器能正常响应,会得到一个Response,Response的内容便是所要获取的页面内容,类型可能有HTML,Json字符串,二进制数据(如图片视频)等类型。
(3)解析内容
得到的内容可能是HTML,可以用正则表达式、网页解析库进行解析。可能是Json,可以直接转为Json对象解析,可能是二进制数据,可以做保存或者进一步的处理。
(4)保存数据
保存形式多样,可以存为文本,也可以保存至数据库,或者保存特定格式的文件。
3.request 和 response
(1)request
request:浏览器就发送消息给该⽹址所在的服务器,这个 过程叫做HTTP Request
request的请求方式:主要有GET、POST两种类型,另外还有 HEAD、PUT、DELETE、OPTIONS等。
request包含url、请求头、请求体
url:URL全称统⼀资源定位符,如⼀个⽹⻚⽂档、 ⼀张图⽚、⼀个视频等都可以⽤URL唯⼀来确定。
请求头:包含请求时的头部信息,如User-Agent、Host、 Cookies等信息。
请求体:请求时额外携带的数据 如表单提交时的表单数据。
(2)response
response:服务器收到浏览器发送的消息后,能够根据浏览 器发送消息的内容,做相应处理,然后把消息回传给浏 览器。这个过程叫做HTTP Response
response中包含:响应状态、响应头、响应体
响应状态:有多种响应状态,如 200代表成功、301 跳转、404找不到⻚ ⾯、502服务器错误。
响应头:如内容类型、内容⻓ 度、服务器信息、设 置Cookie等等。
响应体:最主要的部分,包含 了请求资源的内容, 如⽹⻚HTML、图⽚ ⼆进制数据等。
4.数据的解析方式
(1)直接处理
(2)json解析
(3)正则表达式
(4)xpath
5.解决JavaScript渲染问题的方法
(1)分析Ajax请求
(2)Selenium/WebDriver
(3)Splash
(4)PyV8、Ghost.py
6.保存数据的方式
(1)⽂本类型:纯⽂本、Json、Xml等。
(2)关系型数据库:如MySQL、Oracle、SQL Server
(3)⾮关系型数据库:如MongoDB、Redis等Key-Value形式存储。
(4)⼆进制⽂件:如图⽚、视频、⾳频等等直接保存成特定格式即可。