BeautifulSoup 解析中文网页乱码问题

最新推荐文章于 2023-09-05 18:52:00 发布
最新推荐文章于 2023-09-05 18:52:00 发布
阅读量1.3k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guoyouxiang/article/details/42395409
版权 
import urllib2
from BeautifulSoup import BeautifulSoup

page = urllib2.urlopen('http://www.leeon.me');
soup = BeautifulSoup(page,fromEncoding="gb18030")

print soup.originalEncoding
print soup.prettify()

如果中文页面编码是gb2312，gbk，在BeautifulSoup构造器中传入fromEncoding="gb18030"参数即可解决乱码问题，即使分析的页面是utf8的页面使用gb18030也不会出现乱码问题！

转自：http://leeon.me/a/beautifulsoup-chinese-page-resolve

guoyouxiang
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python爬取网页有乱码怎么解决_python用beautifulsoup爬取网页时出现乱码的解决方法...
weixin_39990660的博客
11-21 644
一、原因：在用beutifulsoup爬取网页的信息时，我们会遇到信息变成乱码的情况，之所以出现这种情况，是因为requests和beautifulsoup模块都会自行评测原网页的编码格式。二、解决办法：（1）查看网页编码格式：既然要将soup中编码格式改为正确的，那我们首先就要知道你要爬取的网页编码格式是什么。首先是F12—>到控制台Console—>输入document.charset。此处的...
Python BeautifulSoup中文乱码问题的2种解决方法
热门推荐
GYZ的csdn
04-18 1万+
解决方法一： 使用python的BeautifulSoup来抓取网页然后输出网页标题,但是输出的总是乱码,找了好久找到解决办法,下面分享给大家 首先是代码 from bs4 import BeautifulSoup import urllib2 url = 'http://www.jb51.net/' page = urllib2.urlopen(url) soup = Beau
使用Python爬虫和BeautifulSoup库从网页抓取中文文本
最新发布
m0_59205083的博客
09-05 1388
BeautifulSoup库能够将复杂的HTML树结构转化为简单易用的Python对象，使我们能够轻松地找到并提取我们需要的元素。但是，通过使用Python的requests和BeautifulSoup库，我们可以轻松地处理大多数的网页，并从中抓取我们需要的中文文本。我们将通过一个具体的示例来展示这个过程，该示例将从"在这个示例中，我们关注的是id为"chaptercontent"的HTML元素，它包含了我们要抓取的中文文本。最后，我们在一个循环中重复以上步骤，从一个到另一个网页，从而抓取更多的中文文本。
解决beautifulsoup解析网页输出时乱码问题
nongcunqq的博客
04-17 1414
提前编码 wbdata.encoding = ‘utf-8’ 也可以是gb2312,gb18030，根据网页编码来定 wbdata = requests.get(url, proxies=proxies) wbdata.encoding = 'utf-8' soup = BeautifulSoup(wbdata.text, 'lxml') title = soup.find('title')...
python 采集中文乱码问题的完美解决方法
09-21
在Python编程中，处理中文字符时经常遇到的一个挑战就是中文乱码问题。这通常发生在数据采集、读写文件或网络通信等涉及字符编码转换的场景。本文将详细介绍如何解决Python在采集过程中遇到的中文乱码问题。 首先，...
Python下利用BeautifulSoup解析HTML的实现
12-23
BeautifulSoup能自动处理多种编码，但最好在创建对象时明确指定输入文档的编码，以避免乱码问题。 通过这些方法，开发者可以高效地遍历和操作HTML文档，提取所需信息。在实际项目中，BeautifulSoup常用于网络爬虫...
python抓取并保存html页面时乱码问题的解决方法
09-21
在Python中进行网页抓取（Web Scraping）是一项常见的任务，但往往在处理HTML页面时会遇到乱码问题。这通常发生在读取、解析或保存网页内容时，由于编码不匹配导致字符无法正确显示。本篇文章将深入探讨Python抓取并...
BeautifulSoup
10-12
注意：为了解决乱码问题，用版本3的。如3.2.1。BeautifulSoup处理后的默认编码是utf-8。 中文文档：http://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html 其他参考：...
Python信息抽取之乱码解决办法
12-25
　信息抓取，用python,beautifulSoup,lxml,re,urllib2,urllib2去获取想要抽取的页面内容，然后使用lxml或者beautifulSoup进行解析，插入mysql 具体的内容，好了貌似很简单很easy的样子，可是里面的恶心之处就来了，...
BeautifulSoup的编码处理( zhuan)
weixin_34329187的博客
05-07 161
BeautifulSoup的编码处理 BeautifulSoup内部使用的是Unicode，BeautifulSoup会自动检测输入文件的编码类型将其转换为Unicode。 BeautifulSoup编码检测顺序 BeautifulSoup按下面的顺序检测编码： 创建Soup对象时传递的 fromEncoding 参数； XML/HTML文件自己定义的编码； ...
彻底搞懂 python 中文乱码问题_Python BeautifulSoup中文乱码问题的2种解决方法
weixin_39830906的博客
11-29 380
解决方法一：使用python的BeautifulSoup来抓取网页然后输出网页标题,但是输出的总是乱码,找了好久找到解决办法,下面分享给大家首先是代码from bs4 import BeautifulSoupimport urllib2url = 'https://www.jb51.net/'page = urllib2.urlopen(url)soup = BeautifulSoup(page,...
记录BeautifulSoup 提取中文时候出现乱码如何解决
weixin_42744856的博客
07-28 548
看到 charset 编码方式为“utf-8”
python模块化设计耦合度_Python学习第十八篇——低耦合函数设计思想
weixin_39527292的博客
12-06 534
1 importjson2 2 defgreet_user(filename):3 3 try:4 4with open(filename) as f_obj:5 5 username =json.load(f_obj)6 6 exceptFileNotFoundError:7 7 username = input("what i...
使用requests和BeautifulSoup解析网页，中文出现乱码
cxy__s的博客
09-01 1518
import requests as re from bs4 import BeautifulSoup as bs web=re.get("http://www.xbiquge.la/13/13959/") soup=bs(web.text,"lxml") print(soup.title) 使用上述代码时，中文标题出现乱码 "D:\Program Files\Python\python...
关于Python beautifulsoup 输出中文乱码问题
u012783669的博客
06-18 7462
我在学习网络爬虫的过程中遇到一个很奇怪的问题，爬取同一个网站的不同页面（编码方式都为'gb2312'）时，beautifulsoup有时候输出中文是正常的有时候是乱码。查找资料：http://bbs.chinaunix.net/thread-4084647-1-1.html上面说：表面上看起来从BeautifulSoup解析后得到的soup，打印出来是乱码，但是实际上其本身已经是，正确的（从原始的...
BeautifulSoup 中文乱码
heybob的专栏
09-19 3969
1,参考：https://blog.csdn.net/sentimental_dog/article/details/52661974 ret = requests.get(url, headers=headers) ret.encoding='gb18030' print(ret.text) 可以获取正确中文 但是之前已经将ret.text使用base64加密保存，重新提取解析不能这样， 2,使...
笔记003：记录BeautifulSoup 提取中文时候出现乱码如何解决
飞人的博客
10-04 1125
一般提取网页中文时候都不会出现乱码，但是恰巧今天碰到了，运行出现下面。今天提取某网站的网页中的中文，发现出现乱码，将解决的方法记录一下。我用火狐浏览器打开网站地址，发现是gb2312编码。1、开始时候代码如下，
bs4 乱码_Python BeautifulSoup中文乱码问题的2种解决方法
weixin_35975177的博客
01-14 1594
解决方法一：使用python的BeautifulSoup来抓取网页然后输出网页标题,但是输出的总是乱码,找了好久找到解决办法,下面分享给大家首先是代码复制代码 代码如下:from bs4 import BeautifulSoupimport urllib2url = '//www.jb51.net/'page = urllib2.urlopen(url)soup = BeautifulSoup(p...
Python BeautifulSoup中文乱码问题
weixin_45401179的博客
12-12 1640
今天使用BeautiSoup遇到乱码，在网上找到解决方案，特地记录一下 1、先查看网页的编码格式 一般是在网页的开头 2、将requests的结果修改为相对应的编码格式 res1=requests.get(url,headers=head) res1.encoding='utf-8' soup1=BeautifulSoup(res1.text,'lxml') 3、再正常的使用BeautiSoup就好了 ...
beautifulsoup解析器乱码
07-08
你可以尝试以下方法解决BeautifulSoup解析器乱码的问题： 1. 指定正确的编码格式：在使用BeautifulSoup解析前，确保你指定了正确的编码格式。可以使用`requests`库获取网页内容时，指定`response.encoding`为正确的编码格式，然后再将内容传递给BeautifulSoup进行解析。 ```python import requests from bs4 import BeautifulSoup url = "http://example.com" response = requests.get(url) response.encoding = "utf-8" # 指定正确的编码格式 soup = BeautifulSoup(response.text, "html.parser") ``` 2. 指定解析器类型：尝试使用不同的解析器类型进行解析，看看是否能解决乱码问题。BeautifulSoup支持多种解析器，如`html.parser`、`lxml`和`html5lib`。可以尝试切换解析器类型，看看是否能正确解析。 ```python soup = BeautifulSoup(response.text, "lxml") ``` 3. 使用自动检测编码：如果你不确定网页的编码格式，可以尝试使用BeautifulSoup的自动检测编码功能。将第二个参数指定为`"html.parser"`，并设置`from_encoding`为`"auto"`。 ```python soup = BeautifulSoup(response.text, "html.parser", from_encoding="auto") ``` 以上是一些常见的解决BeautifulSoup解析器乱码问题的方法。如果问题仍然存在，请提供更多详细信息，以便我能够更好地帮助你。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值