python爬虫学习--DAY2-----requests模块实战

python爬虫学习–DAY2-----requests模块实战

UA：请求载体的身份标识

UA（User-Agent）检测：门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识为某一款浏览器，说明该请求是一个正常请求，但是，如果检测到请求的载体标识不是某一款浏览器的，则表示该请求为不正常的请求（爬虫），则服务器很有可能拒绝该次请求

UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器

1. 网页采集器

需求：爬取搜狗指定词条对应的搜索结果

分析：在每次发送指定词条搜素时，url上会带有对应的参数，如https://www.sogou.com/web?query=杜甫，？后就是参数。所以在向url发送请求的时候需要携带上参数

代码

import requests
# UA伪装：将对应的User-Agent封装到一个字典中
headers={
        "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.67'
}
# 指定url，参数不放在url中，通过get中params携带参数
url="https://www.sogou.com/web"

# 处理url携带的参数，封装到字典中
kw=input("enter a word:") #从静态搜素到动态搜素
param={
	"query":kw
}

# 对指定的url发起的请求对应的url是携带参数的，并且请求过程中处理了参数
#requests.get()中参数params用来携带参数
response=requests.get(url=url,params=param,headers=headers)
page_text=response.text

# 持久化存储
filename=kw+".html"
with open(filename,'w',encoding="utf-8") as fp:
	fp.write(page_text)
print(filename,"保存成功")

补充：

1. 如何判断是否携带参数：观察指定url后是否有?，?后是参数
2. 如何确定参数字典形式：
   

2. 破解百度翻译

需求：破解百度翻译，通过程序拿到翻译

分析： 通过抓包分析，该请求为post请求且携带参数（注意，数据是动态加载的，每输入一个字母都会有一个对应的响应，所以要注意分辨，看参数）

代码

import requests
import json  #响应的数据为json，所以引入json
#指定url
post_url="https://fanyi.baidu.com/sug"
#post请求参数处理（同get一样）
word=input('enter a word:') #动态
data={
"kw": word
}
#进行UA伪装
headers={
    "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.67'
}
#请求发送，post请求中通过data携带参数
response=requests.post(url=post_url,data=data,headers=headers)
#获取响应数据:json()方法返回的是obj(对象) （如果确认响应数据是json类型，才可以使用json()）
dic_obj=response.json()
print(dic_obj)

#持久化存储
filename=word+'.json'
fp=open(filename,'w',encoding='utf-8')
json.dump(dic_obj,fp=fp,ensure_ascii=False)
print("over!!!")