导包
import requests
# 1.爬取搜狗首页
# # 爬取搜狗首页页面源码数据
# url = 'https://www.sogou.com/'
# respone = requests.get(url=url)
# page_text = respone.text # text返回的是字符串形式的响应数据
# with open('./sougou.html','w',encoding='utf-8') as fp:
# fp.write(page_text)
2.简易的网页采集器
涉及到的知识点 参数的动态化 UA伪装 乱码的处理
# 参数动态化
# word = input('enter a key word:')
# url='https://www.sogou.com/web?query=jay'
# # 参数动态化 将请求参数封装成字典作用到get方法的params参数中
# params = {
# 'query':word
# }
# respone = requests.get(url=url,params=params)
# page_text = respone.text
# fileName = word+'.html'
# with open(fileName,'w',encoding='utf-8') as fp:
# fp.write(page_text)
# print(word,'下载成功!')
乱码处理
# word = input('enter a key word:')
# url='https://www.sogou.com/web?query=jay'
# # 参数动态化 将请求参数封装成字典作用到get方法的params参数中
# params = {
# 'query':word
# }
# respone = requests.get(url=url,params=params)
# # 可以修改响应数据的编码
# respone.encoding = 'utf-8' # 手动修改了响应对象的编码格式
# page_text = respone.text
# fileName = word+'.html'
# with open(fileName,'w',encoding='utf-8') as fp:
# fp.write(page_text)
# print(word,'下载成功!')
什么叫异常的访问请求?
在爬虫中正常的访问请求指的是通过真的浏览器发起的访问请求
异常的访问请求:通过非浏览器的访问请求 (爬虫的模拟请求)
正常的访问请求和异常的访问请求判别方式是什么?
是通过请求头中的User-Agent判别
User-Agent:请求载体的身份标识
请求载体可以是:浏览器 爬虫
反扒机制
UA检测:网站后台会检测请求载体的身份标识UA是不是浏览器
是 正常访问请求
不是 异常的访问请求
反反爬策略:
UA伪装: 将爬虫对应的请求载体身份标识伪装或篡改成浏览器的身份标识
User-Agent: Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/89.0.4389.90 Mobile Safari/537.36 Edg/89.0.774.54"""
UA伪装
# word = input('enter a key word:')
# url='https://www.sogou.com/web?query=jay'
# # 参数动态化 将请求参数封装成字典作用到get方法的params参数中
# params = {
# 'query':word
# }
# # UA伪装
# headers = {
# "User-Agent": 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Mobile Safari/537.36 Edg/89.0.774.54'
# }
# # 将伪装的UA作用到请求头中
# respone = requests.get(url=url,params=params,headers=headers)
# # 可以修改响应数据的编码
# respone.encoding = 'utf-8' # 手动修改了响应对象的编码格式
# page_text = respone.text
# fileName = word+'.html'
# with open(fileName,'w',encoding='utf-8') as fp:
# fp.write(page_text)
# print(word,'下载成功!')
总结
get方法的参数: url params headers
get方法的返回值: response
response的属性:text:字符串形式的响应数据