Requests模块案例实践一网页采集器

import requests
#UA检测：门户网站的服务器会检测请求载体的身份标识，如果检测到请求的载体身份标识为某一款浏览器，说明该请求是正常请求，但是如果如果监测到请求
#载体的身份标识不是基于某一款浏览器的话，则表示为不正常请求（爬虫），则服务器端有可能拒绝该次请求。
#UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器
#UA=User-Agent:请求载体的身份标识
if __name__ == '__main__':
    url='https://www.sogou.com/web'
    #处理url携带的参数，封装在字典里
    kw=input('enter a word')
    param={
        'wd':kw
    }
    #对指定的url发起请求，请求对应的url是携带参数的，并且请求过程中已经处理参数过了
    response=requests.get(url=url,params=param)
    #
    page_text=response.text
    filename=kw+'.html'
    with open(filename,'w',encoding='UTF-8') as fp :
        fp.write(page_text)
    print(filename,"保存成功")
#可以动态的指定任何关键字进行搜索，将指定关键字的搜索结果进行抓取和保存