requests模块

概念 ： python中原生的一款基于网络请求的模块，功能强大简单便捷，效率高

作用：模拟浏览器发请求

使用：（requests模块的编码流程）

1. 指定url

2. 发起请求

3. 获取响应数据

4. 持久化存储

requests.get(url, params, kwargs)

实现一个简易的网易采集器

#网页采集器
import requests
if __name__ == "__main__":
    #UA伪装
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.31'
    }
    #指定url
    url = "https://www.sogou.com/web"   #需要爬取的网页网址，query=“搜索的内容” ,然后将query中的参数设置为动态参数
    #处理url携带的参数（设置为动态参数）：封装到字典中
    kw = input('please enter the key word : ')
    param = {
        'query' : kw
    }
    #发起请求
    response = requests.get(url=url, params=param, headers=headers)
    #respone = requests.get(url = url, params=param)
    #获得响应数据
    page_text = response.text
    #持久化存储
    FileName = kw + '.html'
    with open(FileName, 'w', encoding = 'utf-8') as fp:
        fp.write(page_text)
    print(FileName,'保存成功！')

采集到的网页（截取部分）：