【Python】网络爬虫原理

【Python】Requests+正则表达式 爬取猫眼电影TOP100

一、什么是爬虫

请求网站并提取数据的自动化程序。

二、爬虫的基本流程

1.发起请求

通过http库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，等待服务器响应

2.获取响应内容

如果服务器能正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能有HTML、Json字符串、二进制数据（如图片视频）等类型。

3.解析内容

得到的内容可能是HTML，可以用正则表达式，网页解析库进行解析，可能是Json，可以直接转为Json对象解析，可能是二进制数据，可以保存或者进一步的处理。

4.保存数据

可以保存为文本，也可以保存到数据库，或者保存特定格式的文件，形式多样。

三、什么是Request和Response

1.Request：客户机向服务器请求数据

2.Response:服务器响应客户机，将消息回传给客户机

四、Request包含什么？

1.请求方式：GET、POST、HEAD、PUT、DELETE、OPTIONS等

2.请求URL：url统一资源定位符

3.请求头：User-Agent等

4.请求体：请求时额外携带的数据，如表单提交时的表单数据

五、Response包含什么？

1.响应状态:状态码200 、404 、502 、503等

2.响应头：如内容类型、内容长度、服务器信息、设置cookie等等

3.响应体：最主要的部分，包含了请求资源的内容，如网页HTML、图片二进制数据等

六、能抓怎样的数据？

1.网页文本：HTML文档、Json格式文档

2.图片：获取到的是二进制文本，保存为图片格式

3.视频：同为二进制文件，保存为视频格式即可

4.其他：只要是能够请求到的，都能获取

七、怎样来解析？

1.直接处理

2.Json解析

3.正则表达式

4.BeautifulSoup

5.PyQuery

6.XPath

八、怎样解决JavaScript渲染的问题？

1.分析Ajax请求

2.Selenium/WebDriver自动化测试工具

3.Splash（github上下载）

4.PyV8、Ghost.py

九、怎么保存数据

1.文本：纯文本、Json、Xml等

2.关系型数据库：MySql、Oracle、SQL Server等

3.非关系型数据库：MongoDB

4.二进制文件：图片、视频等等