pycharm爬虫打印网页出现中文乱码问题

最新推荐文章于 2024-05-02 21:47:38 发布
最新推荐文章于 2024-05-02 21:47:38 发布
阅读量1.8k 收藏 4
点赞数 6
分类专栏： 爬虫 python 文章标签： python 爬虫 中文显示乱码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43654212/article/details/102747819
版权

pycharm爬虫打印网页出现中文乱码问题


今天爬了一天的微博，到现在还没有成功。期间也出现了打印页面中文显示乱码问题。 

html=session.get(url)
print(html.text)

如果直接打印的话就会出现这样的结果

 <p class="label" id = "uctext">ʹÓÃ<span id = "ucname"></span>µÄÉí·ÝµÇ¼ÍøÒ³°æ΢²©</p>
    <p class="label" id = "weibotext">¼ì²âµ½ÄúÒÑÔÚ΢²©¿Í»§¶ËµÇ¼<br>ÊÇ·ñ»ñÈ¡¸ÃµÇ¼״̬£¿</p>
    <a href="javascript:;" class="btn btnRed" id = "ucORweiboLogin">È·ÈÏ</a>

这个问题真的卡了好久，后来找了各种文章，原来是网页编码问题。

print(html.encoding)
ISO-8859-1

发现编码是ISO-8859-1形式的，我们需要改为gbk格式的就能正常显示了

html=session.get(url)
#pycharm解决爬虫中文乱码问题
html.encoding = 'GBK'
print(html.encoding)
  <div id="errorMsg" class="error-label" style = "display:none">手机号不能为空</div>
        <a href="javascript:;" class="btn btnRed" id = "loginAction">登录</a>
weixin_43654212
关注
专栏目录
Pycharm编程环境下Scrapy框架进行爬虫
weixin_44460780的博客
09-27 834
学过爬虫的朋友知道，requests库和BeautifulSoup4库可以爬取80%多的数据，但是还有少部分数据通过这两个库无法获取，所以今天介绍另外一个爬虫工具——Scrapy框架。 1.Scrapy框架介绍 Scrapy是用python实现的一个用于爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 用户只需要定制开发几个模块就可以轻松实现数据、图片等的爬取，非常方便。 Scrap...
爬虫训练（二）：乱码问题
weixin_43916181的博客
04-06 277
背景： 在第一次尝试爬虫过程中，整个爬虫尝试算是成功了，但是还存在很多小瑕疵，这里最主要一个问题就是爬虫结果为乱码，根据错误情况再次查了好多说法。 一.问题分析 目前来看，对于爬取整个网页出现的乱码，解决方法非常简单，错误原因主要是网页编码。 Requests 会基于 HTTP 头部对响应的编码作出有根据的推测，而这可能与网页自身的编码并不一致，检查代码如下： #print(res.encodin...
解决pycharm的爬虫乱码问题（初步了解各种编码格式）
bajiao1005的博客
01-17 897
Ascii码（American Standard Code for Information Interchange，美国信息互换标准代码）：最初计算机只在美国使用时，只用8位的字节来组合出256（2的8次方）种不同的状态，把所有的空格、标点符号、数字、大小写字母分别用连续的字节状态表示，一直编到了第127号， 拓展字符集：世界各地的都开始使用计算机，一直把序号编到了最后一个状态25...
Python 在Pycharm中抓取网页URL中文乱码解决方案
XLaws的博客
02-15 1493
详细内容转载至：https://blog.csdn.net/MrLevo520/article/details/51671413
使用pycharm爬取人人网HTML文件出现乱码
匿名者的博客
12-17 2435
在使用pycharm使用自动cookie获取响应，并把请求后的结果写入一个HTML文件会出现中文乱码。 例如： from urllib import request,parse from http import cookiejar if __name__ == '__main__': #构建相关生成器 cookie = cookiejar.CookieJar() ...
python读写html文件乱码问题
qq_45220555的博客
08-22 5306
#从网址库找到request库，使用urlopen函数打开网址 from urllib.request import urlopen url = "http://www.mouwangzhi.com" resp = urlopen(url) with open("mybaiodu.html",mode = "w",encoding="utf-8") as f: f.write(resp.read().decode()) print("over!") pycharm读取保存的html文件会显.
浏览器乱码的原因是什么?如何解决?
weixin_66134429的博客
12-16 7276
浏览器乱码的原因是什么?如何解决?
在pycharm中出现乱码
07-27
这些步骤可以帮助你解决在PyCharm中出现乱码的问题。希望对你有所帮助。\[1\] #### 引用[.reference_title] - *1* [Spider爬虫在pycharm上出现乱码的解决方案]...
Python爬虫——简单网页抓取（实战案例）小白篇_python爬虫爬取网页数据
2401_84562810的博客
05-02 1406
pythonkw = input(‘请输入要翻译的英文单词：’)data = {‘kw’: kw# 由于百度翻译没有反扒措施，因此可以不写请求头‘referer’: ‘百度翻译-200种语言互译、沟通全世界！’,
python爬虫解决gbk乱码问题
Endl_1998的博客
08-01 771
老套路，先获取网页源代码　　 # -*- coding:UTF-8 -*- from bs4 import BeautifulSoup import requests if __name__ =='__main__': url='http://www.biquge.com.tw/18_18998/8750558.html' page_req=requests.get(url)...
解决--网页兼容模式下虚拟打印保存为pdf乱码
asdwt123的专栏
09-06 3278
虚拟打印保存网页为pdf出现乱码
html 定义gbk,具体介绍GBK以及UTF-8编码的正确使用
weixin_42502838的博客
06-18 1419
网页编码英文译为web page encoding，是在网页中指定其特定的字符编码格式的库。GBK是国家标准GB2312基础上扩容后兼容GB2312的标准。GBK的文字编码是用双字节来表示的，即不论中、英文字符均使用双字节来表示，为了区分中文，将其最高位都设定成1。GBK包含全部中文字符，是国家编码，通用性比UTF8差，不过UTF8占用的数据库比GBK大。UTF-8：Unicode Transfo...
gbk格式的html设置utf-8显示乱码
weixin_43210815的博客
08-23 4462
html页面转UTF-8出现乱码 自己开发html时，记得加上<meta http-equiv="content-type" content="txt/html; charset=utf-8" /> 并且用UTF-8进行编码。 如果用别人的页面，而他的编码格式是gbk或gb2312还是其他非UTF-8的，有一种非常简单的方法，不需要有人说什么python转编码格式，坑人，只需要用记...
爬虫爬取的html的编码是gbk,【Go语言实战】爬虫GBK编码问题处理
weixin_36415835的博客
06-18 347
上一篇文章，分享了如何将字符串GBK,UTF8编码互转，确实很实用。但是我在爬取了一篇GBK编码的文章，并将它转换成UTF8编码字符串之后，html中的都变成了聴，效果非常不理想，那怎么办呢？仍然是面向google编程(百度已经满足不了我的需求了)，无意中看到了golang.org/x/html包下面有个charset.NewReader(r io.Reader, contentType str...
python写入html文件中文乱码-解决办法
肖朋伟
08-16 2万+
python写入html文件中文乱码问题 使用open函数将爬虫爬取的html写入文件，有时候在控制台不会乱码，但是写入文件的html中的中文是乱码的 案例分析 看下面一段代码： # 爬虫未使用cookie from urllib import request if __name__ == '__main__': url = &amp;amp;quot;http://www.renren.com/96...
爬取网站时返回的html是乱码问题解决
西门一刀的博客
08-01 1426
在爬取网站新闻时发现，返回的html代码中中文是乱码
解决python3 UnicodeEncodeError: 'gbk' codec can't encode character '\xXX' in position XX
热门推荐
jim7424994的专栏
03-31 24万+
步步为营，解决 UnicodeEncodeError: 'gbk' codec can't encode character '\xbb' in position 8530: illegal multibyte sequence
使用pycharm编写python爬虫时的乱码解决方案
隔壁山上小道士的博客
01-30 1422
一天一bug，个个不一样。 今天在编写python爬虫时，又遇到了乱码。 先看一下我编写的代码： import requests from fake_useragent import UserAgent url = "http://www.farmer.com.cn/2021/01/25/99864972.html" headers = { 'User-Agent': UserAgent().random } response = requests.get(url, headers=header
Pycharm网页出现中文乱码
最新发布
06-11
PyCharm 是一个强大的集成开发环境（IDE），在处理网页开发时，遇到中文乱码问题通常是由于编码设置不匹配导致的。以下是可能出现中文乱码的一些原因和解决方法： 1. 文件编码：确保HTML、CSS和JavaScript文件使用的是UTF-8编码，这是支持中文字符的常见编码格式。 2. 配置文件编码：在PyCharm的项目设置中，检查`File -> Settings -> Editor -> File Encodings`，确保默认编码也是UTF-8，特别是文本文件的默认编码。 3. 请求头设置：如果你在发送HTTP请求或处理服务器返回的数据，可能需要设置合适的字符集。例如，在Python的requests库中，可以通过`response.encoding`来获取或设置响应的编码。 4. IDE内部显示：如果你正在使用WebStorm或PyCharm，它们可能会自动检测编码并转换显示，但有时需要手动调整。可以在`View -> Encoding`菜单中选择正确的显示编码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值