简易网页采集器

import requests

# UA 检测：门户网站的服务器会检测对应请求的载体身份标识，若检测到请求的载体身份标识为某款浏览器，则说明为正常请求
#         反之，则为爬虫，服务器段可能会拒绝此次请求
# UA 伪装：让爬虫对应的请求载体身份标识伪装成某款浏览器

if __name__ == '__main__':
    # UA 伪装：将对应的 User-Agent 封装到字典中
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36"
    }
    url = "https://www.baidu.com/s?"
    # 处理 url 所携带的参数
    kw = input("输入参数：")
    param = {
        "word": kw
    }
    # 对指定的 url 发起的请求对应的 url 是携带参数的，并且请求过程中处理了参数
    response = requests.get(url=url, params=param, headers=headers)

    page_text = response.text

    with open(kw+".html", "w", encoding="utf-8") as fp:
        fp.write(page_text)
        fp.close()

    print("Over")