1.概念
通过编写程序,模拟浏览器上网,然后让其去互联网上抓取数据的过程
1.1在使用场景中的分类
1.1.1通用爬虫
抓取系统的重要组成部分,抓取的是一整张页面的数据
1.1.2聚焦爬虫
建立在通用爬虫的基础上,抓取的是页面中指定的部分
1.1.3 增量爬虫
监测网站中数据更新的情况,只会抓取网站中最新更新出来的数据
1.2爬虫的矛与盾
1.2.1反爬机制
相关门户网站,可以通过制定相应的策略或者技术手段,防止爬虫程序进行网站数据的爬取
1.2.2反反爬策略
爬虫程序可以通过制定相关的策略或者技术手段,破解门户网站中具备的反爬机制,从而可以获取门户网站中的数据
1.2.3robots.txt协议
君子协议 ,规定了网站中哪些数据可以被爬取,哪些数据不可以被爬取
1.3 http/https协议
1.3.1 概念
就是服务器和客户端进行数据交互的一种形式
1.3.2常用请求头信息
user-agent
请求载体的身份标识(浏览器版本,操作系统版本)
connection
请求完毕后,是断开连接(close)还是保持连接(keepalived)
常用响应头信息
content-type
服务器响应回客户端的数据类型
1.3.3 https
安全的http协议
加密方式
对称密钥加密
客户端将数据加密-密文和密钥一块发送-服务器解密
非对称密钥加密
服务器端设定加密方式-发送给客户端-客户端采用该加密方式加密(公钥)-发送给服务器-服务器采用私钥解密
效率低、拦截公钥并篡改
证书密钥加密
服务器端制定公钥-公钥提交给ca-ca对公钥进行数字签名,封装到证书中-发送给客户端-对数据加密-将加密数据发送给服务端
确保公钥为服务器发送来的
1.4requests模块
python中原生的一款基于网络请求的模块,功能非常强大,简单便捷,效率极高
1.4.1 作用:模拟浏览器发送请求
1.4.2如何使用(requests模块编码流程)
- 指定url
- 发起请求
- 获取响应数据
- 持久化存储
实战编码
需求
爬取搜狗首页的数据
#爬取搜狗首页的页面数据
import requests
if __name__ == "__main__":
#step 1 :指定url
url = 'https://www.sogou.com/index.php'
#step 2 :发起请求
#get方法会返回一个响应对象
response = requests.get(url=url,)
#step 3 :获取响应数据,text放回的是字符串形式的数据
page_text = response.text
print(page_text)
#step 4 :持久化存储
with open('./sougou.html','w',encoding='utf-8') as fp:
fp.write(page_text)
print('爬取数据结束!!!')
爬取搜狗指定词条对应的搜索结果页面(简易网页采集器)
#UA伪装:门户网站的服务器会检测对应请求载体的身份标识,如果检测到请求的载体身份标识为某一浏览器,则为正常请求,否则为不正常的请求。让爬虫对应的ua伪装成某一浏览器
import requests
if __name__ == "__main__" :
#ua伪装
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:106.0) Gecko/20100101 Firefox/106.0'
}
url='https://www.sogou.com/web'
#处理url携带的参数:封装到字典中
kw = input('enter a word:')
param = {
'query':kw
}
#对指定的url发起请求是携带参数的,并且请求过程中处理了参数
response = requests.get(url=url,params=param,headers=headers)
page_text = response.text
fileName = kw+ '.html'
with open(fileName,'w',encoding='utf-8') as fp:
fp.write(page_text)
print(fileName,'保存成功!!!')
#破解百度翻译
import requests
import json
if __name__ == '__main__':
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:106.0) Gecko/20100101 Firefox/106.0'
}
post_url = 'https://fanyi.baidu.com/sug'
word = input('enter a word:')
data = {
'kw':word
}
response = requests.post(url=post_url,data=data,headers=headers)
#获取响应数据:json()方法返回的是obj(确认响应数据是json的才可以使用)
dic_obj = response.json()
print(dic_obj)
fileName = word + '.json'
fp = open(fileName,'w',encoding='utf8')
json.dump(dic_obj,fp=fp,ensure_ascii=False)
print('over!!!')