爬虫学习系列（二） - 简易的网页采集器

#  简易的网页采集器

import requests

url = 'https://www.sogou.com/sogou?pid=sogou-brse-b5e93461a6b1f9f5&query=%E6%99%93%E6%B3%A2%E5%BC%A0'
#  处理url携带的参数 ： 封装到字典中
kw = input('enter a word :')

param = {
    'query':kw
}


#    发送请求 ：携带参数的请求，并且请求的过程中处理了参数
requests.get(url=url,params=param)
page_text = requests.text

fileName = kw +'.html'
with open('fileName','w',encoding='utf-8') as fp:
    fp.write(page_text)
print(fileName, '保存成功！！！！')

#     UA检测  ： 门户网站的服务器会检测对应请求的载体身份标识，如果检测到的请求的载体身份标识为某一款浏览器
#     说明该请求是一个正常的请求，但是 如果不是则表示是不正常的请求（爬虫、）则服务器端可能拒绝该次请求

#      UA伪装：   让爬虫对应的请求载体身份标识伪装成某一款浏览器
#    将对应的User-Agent封装到一个字典中
#    headers = {
#         ’User-Agent‘ :
#    }
#  在requests.get中增加参数  headers requests.get(url=url,params=param, headers=headers)