采用requests进行网络爬虫 UA伪装

第一天
简单的学习requests

知识点：UA伪装

下面展示一些 内联代码片。

import requests
if __name__ =="__main__":
    url='https://www.sogou.com/web'
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'
    }
    kw = input('enter a word:')
    param = {
        'query':kw
    }
    #对参数进行字典封装，动态携带参数
    response = requests.get(url=url,params=param,headers=headers)
    page_text = response.text
    filename=kw+'.html'
    with open(filename,'w',encoding='utf-8') as fp:
        
        fp.write(page_text)

爬取了山东省网页信息。