爬虫实战之简易网页收集器

最新推荐文章于 2024-08-25 20:43:39 发布

weixin_44882026

最新推荐文章于 2024-08-25 20:43:39 发布

阅读量170

点赞数 1

文章标签：爬虫 python 开发语言

本文链接：https://blog.csdn.net/weixin_44882026/article/details/127895203

版权

本文展示了如何使用Python的requests库进行网页数据的抓取。通过输入查询内容，程序会向搜狗搜索发送请求，获取HTML页面内容，并将其保存为.html文件。这是一个基础的网络爬虫实战案例，适合初学者了解爬虫的基本工作流程。

摘要由CSDN通过智能技术生成

爬虫实战之简易网页收集器具体代码如下:

import requests
if __name__ == '__main__':
    header={
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
    }
    url='https://www.sogou.com/web'
    a=input('请输入内容')
    param={
        'query':a
    }
    response=requests.get(url=url,params=param,headers=header)
    page=response.text
    print(page)
    fileName=a+'.html'
    with open(fileName,'w',encoding='utf-8') as fp:
        fp.write(page)
    print(fileName,'保存数据')