python 爬虫 request模块

导包
import requests

# 1.爬取搜狗首页

# # 爬取搜狗首页页面源码数据
# url = 'https://www.sogou.com/'
# respone = requests.get(url=url)
# page_text = respone.text    # text返回的是字符串形式的响应数据
# with open('./sougou.html','w',encoding='utf-8') as fp:
#     fp.write(page_text)

2.简易的网页采集器

涉及到的知识点 参数的动态化 UA伪装 乱码的处理

# 参数动态化
# word = input('enter a key word:')
# url='https://www.sogou.com/web?query=jay'
# # 参数动态化 将请求参数封装成字典作用到get方法的params参数中
# params = {
#     'query':word
# }
# respone = requests.get(url=url,params=params)
# page_text = respone.text
# fileName = word+'.html'
# with open(fileName,'w',encoding='utf-8') as fp:
#     fp.write(page_text)
# print(word,'下载成功！')

乱码处理

# word = input('enter a key word:')
# url='https://www.sogou.com/web?query=jay'
# # 参数动态化 将请求参数封装成字典作用到get方法的params参数中
# params = {
#     'query':word
# }
# respone = requests.get(url=url,params=params)
# # 可以修改响应数据的编码
# respone.encoding = 'utf-8'  # 手动修改了响应对象的编码格式
# page_text = respone.text
# fileName = word+'.html'
# with open(fileName,'w',encoding='utf-8') as fp:
#     fp.write(page_text)
# print(word,'下载成功！')

什么叫异常的访问请求？

在爬虫中正常的访问请求指的是通过真的浏览器发起的访问请求
异常的访问请求：通过非浏览器的访问请求 （爬虫的模拟请求）

正常的访问请求和异常的访问请求判别方式是什么？

是通过请求头中的User-Agent判别
User-Agent:请求载体的身份标识
请求载体可以是：浏览器 爬虫

反扒机制

UA检测：网站后台会检测请求载体的身份标识UA是不是浏览器
是 正常访问请求
不是 异常的访问请求

反反爬策略：

UA伪装： 将爬虫对应的请求载体身份标识伪装或篡改成浏览器的身份标识
User-Agent: Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/89.0.4389.90 Mobile Safari/537.36 Edg/89.0.774.54"""

UA伪装

# word = input('enter a key word:')
# url='https://www.sogou.com/web?query=jay'
# # 参数动态化 将请求参数封装成字典作用到get方法的params参数中
# params = {
#     'query':word
# }
# # UA伪装
# headers = {
#     "User-Agent": 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Mobile Safari/537.36 Edg/89.0.774.54'
# }
# # 将伪装的UA作用到请求头中
# respone = requests.get(url=url,params=params,headers=headers)
# # 可以修改响应数据的编码
# respone.encoding = 'utf-8'  # 手动修改了响应对象的编码格式
# page_text = respone.text
# fileName = word+'.html'
# with open(fileName,'w',encoding='utf-8') as fp:
#     fp.write(page_text)
# print(word,'下载成功！')

总结

get方法的参数： url params headers
get方法的返回值： response
response的属性：text:字符串形式的响应数据