爬虫基本原理

1、什么是爬虫？

请求网站并提取数据的自动化程序

2、爬虫的基本流程

请求（request）、相应（response）、解析内容、保存数据

3、Request和Response

（1）浏览器发送消息给网址所在的服务器，这个过程叫HTTP Request
（2）服务器收到浏览器发送的消息后，能够根据浏览器发送消息的内容，做相应处理，然后把消息回传给浏览器。这个过程叫HTTP Response

  (3)   浏览器收到服务器的Response信息后，会对信息进行相应处理，然后展示

4、Request中包含什么？

（1）请求方式：主要有GET\POST两种类型，另外还有HEAD\PUT\DELETE\OPTIONS等不太常用的类型

（2）请求URL：URL即统一资源定位符，一个网页文档、一个图片、一个视频都可以用URL来表示

（3）请求头：包含请求时的头部信息，如User-Agent\Host\Cookies等信息

（4）请求体：请求时额外携带的数据，如表单提交时候的表单数据，POST类型的请求也存放在请求体中

5、Response中包含什么？

（1）响应状态：状态码200表示成功，300以上一般是跳转，404找不到页面，502服务器错误

（2）响应头：如内容类型、内容长度、服务器信息、设置Cookie等

（3）响应体：如网页源代码等

6、能抓怎样的数据？
（1）网页文本：HTML,JSON等

（2）图片、视频：获取的是二进制文件，保存为图片格式即可

import requests

response = requests.get('https://www.baidu.com/img/baidu_resultlogo@2.png')

with open('1.gif','wb') as f:
	f.write(response.content)
	f.close()

（3）其他：只要是能请求到的，都能够抓取

7、怎样来解析？
（1）直接处理

（2）JSON解析

（3）正则表达式

（4）BeautifulSoup\PyQuery\XPath等好用的解析库

8、为什么我抓到的数据和浏览器看到的不一样？

在浏览器中看到的大多页面都是经过JS文件渲染之后的，与最初请求的网页源代码不同

9、怎样解决JavaScript渲染的问题？
（1）分析Ajax请求

（2）使用Selenium\WebDriver这些自动化测试模块模拟浏览器操作

（3）Splash

（4）PyV8等

10、怎样保存数据？

（1）纯文本

（2）关系型和非关系型数据库：MongoDB\MySQL等

（3）二进制文件：如图片视频等文件