爬虫学习（1）简易网页采集器

如何使用: (reques ts模块的编码流程)
指定url
发起请求
获取响应数据
持久化存储

 

import requests

#UA:User-Agent (请求载体的身份标识)
#UA伪装：门户网站的服务器会检查对应请求的载体身份标识
if __name__ == "__main__":
    url='https://www.baidu.com/s'
    #处理url携带的参数，封装到字典中
    kw = input("enter a word:")
    param = {
        'query':kw
    }
    headers = {
        "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36'
    }
    #对指定的url发起的请求对应的是url是携带参数的，并且在请求过程中处理了参数
    response = requests.get(url=url,params=param,headers=headers)

    page_text = response.text
    fileName = kw ='.html'
    with open(fileName,'w',encoding='utf-8') as fp:
        fp.write(page_text)
    print(fileName,'保存成功！！！')

1.param

将url携带的参数封装到字典中

    kw = input("enter a word:")
    param = {
        'query':kw
    }

代码运行会提示输入搜索内容 

 爬取完成后，会将相应的html存放到搜索名+html文件中

2.UA伪装 

将爬虫发出的请求伪装成浏览器发出的请求

    headers = {
        "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36'
    }