爬虫入门

什么是爬虫

——通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。

1. 爬虫在使用场景中的分类：

• 通用爬虫：
  • 抓取系统重要组成部分。抓取的是一整张页面数据。
• 聚焦爬虫：
  • 是建立在通用爬虫的基础上，抓取的是页面中的特定的局部内容。
• 增量式爬虫：
  • 检测网站中数据更新的情况。只会抓取网站中最新更新出来的数据

2. 爬虫的矛与盾：

2.1 反爬机制

​ 门户网站，可以通过制定相应的策略或技术手段，防止爬虫程序进行网站数据的爬取。

2.1.1 robots.txt协议

​ 君子协议。规定网站哪些数据可以被爬取、哪些不可以被爬取。

2.2 反反爬策略

​ 爬虫程序可通过制定相关的策略或技术手段，用来破解门户网站中具备的反爬机制，从而可以获取门户网站的数据。

http协议
	- 概念：就是服务器和客户端进行数据交互的一种形式。
	- 常用请求头信息：
		+ User-Agent:请求载体的身份标识。
		+ Connection:请求完毕后，是断开连接还是保持连接。
	- 常用响应头信息
		+ Content-Type:服务器响应回客户端的数据类型。
		
https协议
	- 's'表示安全的超文本传输协议（http涉及数据证书秘钥加密）
	
加密方式
	- 对称秘钥加密：客户端将发送给服务器的数据进行加密，并将加密后密文和秘钥一起传递给服务器。
	- 非对称秘钥加密：服务器设定加密方式公钥A并发送给客户端，客户端使用A给将要发送的数据加密。
	- 证书秘钥加密：服务器端设定加密方式公钥A，然后交给证书认证机构给公钥签名（防伪），将证书签名和公钥A一并发给客户端

3. requests模块

python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。 （老的urllib模块不讲）

3.1 作用：模拟浏览器发请求。

3.2 如何使用（requests模块的编码流程）：

	* 指定url
	* 发起请求
	* 获取响应数据
	* 持久化存储

3.3 环境安装：

pip install requests  或直接Pycharm里安装

3.4 实战小例

# 需求：爬取搜狗页面数据
import requests

# 指定url
url = 'http://www.sogou.com/'

# 发起请求(get方法会返回一个响应对象）
response = requests.get(url=url)

# 获取响应数据(text返回的是字符串形式的响应数据）
data_sogou = response.text
print(data_sogou)

# 持久化存储
with open('./sogou.html','w',encoding='utf-8') as fp:
    fp.write(data_sogou)
print("爬取结束~~~")

3.5 简易网页采集器 (爬取整张页面)

UA检测 (反扒机制) UA伪装

# UA(user-agent)检测：门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识为某一款浏览器，意味着这是正常的用户请求。但如果检测到请求的载体身份标识不是基于某一款浏览器的，则表示该请求为不正常的请求（爬虫）,则服务器端就很有可能拒绝该请求。
# UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器

import requests

#UA伪装
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36'
}

url = 'https://www.sogou.com/web'

# 处理rul携带的参数：封装到字典中
keyw = input('enter a word: ')
param = {
    'query':keyw
}

# 对指定的url发起的请求对应的rul是携带参数的，并且请求过程中处理了参数
response = requests.get(url=url,params=param,headers=headers)

page_text = response.text
fileName = keyw+'.html'

with open(fileName,'w',encoding='utf-8') as fp:
    fp.write(page_text)
print(fileName,"保存成功！！")