2.爬取搜狗指定词条对应的搜索结果页面（简易网页采集器）

爬取搜狗指定词条对应的搜索结果页面（简易网页采集器）

# 爬取搜狗指定词条对应的搜索结果页面（简易网页采集器）
# UA:User-Agent(请求载体的身份标识)
# - UA检测：门户网站的服务器会检测请求发起载体的身份标识，如果检测到身份标识为某一款浏览器，则说明该请求是一个正常的请求。
#      但是如果检测到发起请求的载体的身份标识不是某一款浏览器，那么则标识为不正常的请求(爬虫),服务器端很有可能会拒绝这次请求
# - UA伪装：让爬虫把请求伪装成是某一款浏览器发出的
import requests
if __name__ == '__main__':
    # step1 指定url
    url = 'https://www.sogou.com/web'
    kw = input('请输入要搜索的内容：')
    param = {
        'query': kw
    }
    # UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'
    }
    # step2 发送请求
    response = requests.get(url=url, params=param, headers=headers)
    # step3 获取响应数据
    response_txt = response.text
    # step4 数据持久化
    fileName = kw+'.html'
    with open(fileName, 'w', encoding='utf-8') as fp:
        fp.write(response_txt)
    print('爬取结束')