【Python】python3 正则爬取网页输出中文乱码解决

【Python】python3 正则爬取网页输出中文乱码解决

爬取网页时候print输出的时候有中文输出乱码

例如：

\\xe4\\xb8\\xad\\xe5\\x8d\\x8e\\xe4\\xb9\\xa6\\xe5\\xb1\\x80

 

#爬取https://read.douban.com/provider/all出版社
pattern='<div class="name">(.*?)</div>'
import urllib.request
data = urllib.request.urlopen("https://read.douban.com/provider/all").read()
result = re.compile(pattern).findall(str(data))

print(result)

百度了使用encode  和decode    使用codecs都不好使。

应该在爬取网页read()的时候就修改编码格式

#爬取https://read.douban.com/provider/all出版社
pattern='<div class="name">(.*?)</div>'
import urllib.request
data = urllib.request.urlopen("https://read.douban.com/provider/all").read().decode("UTF-8")
result = re.compile(pattern).findall(str(data))
print(result)

还有一些中文乱码的处理在这儿可能详细点儿，也是这给我启发让我搞定这个乱码。https://www.cnblogs.com/lmei/p/5333644.html

 ----------------------------------------------------------分割线-----------------------------------------------

直接   data = urllib.request.urlopen(url).read().decode("utf-8","ignore")

 

posted on 2017-12-03 19:23  Liuyt_61 阅读( ...) 评论( ...) 编辑 收藏

转载于:https://www.cnblogs.com/Liuyt-61/p/7966923.html