Python之BeautifulSoup

最新推荐文章于 2023-10-06 10:57:02 发布

LeeeeeeYooooond

最新推荐文章于 2023-10-06 10:57:02 发布

阅读量713

点赞数

分类专栏： python开发文章标签： python UnicodeDecodeError BeautifulSoup

本文链接：https://blog.csdn.net/BiPerler/article/details/46340561

版权

本文介绍了在使用BeautifulSoup解析HTML时需要注意的几个问题，包括指定源文件字符集以避免`UnicodeDecodeError`，处理多层级选择，以及在写入文件时的编码问题。通过示例代码和详细解释，阐述了Python中Unicode与编码转换的重要性。

摘要由CSDN通过智能技术生成

BeautifulSoup是一个html解析器，其主要功能是将html解析成树的结构，关于具体的用法官网介绍（http://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html）了很多，在这里不在赘述。

在用BeautifulSoup解析html过程中遇到几个问题需要注意下：

1、解析html需要添加源文件字符集

url = 'http://newhouse.sh.fang.com/house/saledate/param_sd201011_or_pa1.htm'
request = urllib2.Request(url)
request.add_header('Accept-encoding', 'gzip')
response = urllib2.urlopen(request,timeout=20)
buf = StringIO( response.read())
f = gzip.GzipFile(fileobj=buf)
html = f.read()
soup=BeautifulSoup(html,from_encoding="gb18030")

其中使用BeautifulSoup解析html的时候最好添加f