【Python】beautifusoup解析HTML并将数据写入文件

最新推荐文章于 2024-03-29 18:25:47 发布

LolitaQ

最新推荐文章于 2024-03-29 18:25:47 发布

阅读量5.7k

点赞数

分类专栏： Python 文章标签：免费爬虫 python html

本文链接：https://blog.csdn.net/LolitaQ/article/details/78117838

版权

本文介绍了使用Python 3.6和BeautifulSoup解析HTML，以www.baidu.com为例，讲解如何将解析后的数据写入文件。在过程中遇到的乱码问题，通过设置文件编码得以解决，最终成功将HTML内容写入文件。

摘要由CSDN通过智能技术生成

Python版本：3.6

IDE：PyCharm

1.解析HTML(这里以www.baidu.com为例)

headers = {
    'Connection': 'Keep-Alive',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36'
}
soup = BeautifulSoup(requests.get("https://www.baidu.com/",headers=headers).content,'lxml')