盘点一个Python网络爬虫过程中中文乱码的3个解决办法

点击上方“Python爬虫与数据挖掘”,进行关注

回复“书籍”即可获赠Python从入门到进阶共10本电子书

梨园弟子白发新,椒房阿监青娥老。

大家好,我是皮皮。

一、前言

前几天在Python钻石交流群【余克富】问了一个Python网络爬虫过程中中文乱码的问题,这里拿出来给大家分享下。

0e5a9bb658afab92e5798e2ced83e5eb.png

下图是乱码截图:

358659fa1fda9352798fe95d98de9d37.png

【甯同学】这里也指出了,最好还是要加个请求头,尊重下爬虫。

二、实现过程

这个问题其实不太难,网络爬虫过程中肯定会经常遇到,这里【eric】提供了三种解决方法,后面如果你有遇到的话,也可以尝试使用下。

1、可以考虑将请求变为.content,得到的内容就是正常的了。

2、使用apparent_encoding,如下图所示:

1a3eb31d663669ed3e22ad3b02e01b19.png

3、使用通用的编码方法,对中文出现乱码的地方进行编码设定即可。还是当前的这个例子,针对img_name进行编码设定,指定编码并进行解码,img_name.encode('iso-8859-1').decode('gbk')

后来【瑜亮老师】指出,也可能是自身Pycharm编码设置的问题。

8bdcc545183ebc7a649080499b698b2d.png

顺利地解决了粉丝的问题。

fe137448d21bb171082d15571601a2b7.png

三、总结

大家好,我是皮皮。这篇文章主要盘点了一个Python网络爬虫中文乱码的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。

最后感谢粉丝【余克富】提问,感谢【eric】、【瑜亮老师】、【甯同学】给出的思路和代码解析,感谢【M.R.D】、【逸 】、【此类生物】等人参与学习交流。

最后给大家推荐一个易哥的星球,这个星球我邀请了很多行业内真正的AI大咖,比如腾讯的大模型技术专家、阿里的大模型技术专家、虾皮算法部门技术专家、头条的算法专家、商汤的AI产品专家,再比如已经将ChatGPT赋能到自己创业上的考考CEO等等。

在星球上无论是嘉宾还是球友都异常活跃,大家已经开始交AI做的各种作业,嘉宾们也开始分享入门课程和进阶知识,这让我非常非常开心。

简单说下这个星球能给大家提供什么:

1.这里有AI行业内的高手,为你分享ChatGPT最新的玩法。

2.你可以在这里找到志同道合的小伙伴,一起探讨甚至实现AI创业。

3.大家有AI相关的问题可以在星球提问,我们会尽力解答。

4.加入星球的小伙伴,都有一项额外好处,可以免费获得ChatGPT“独立”账号一个(账号在加入五天之内发放)。

现在星球在运营初期,正式运营价格定为699,目前我给出了加入的最低价198,后面星球成员每增加100人,星球费用会增长10元(估计发文后就会涨价)。早就是优势,建议大家尽早以便宜的价格加入!

有兴趣的朋友们,欢迎扫码加入本星球:

7ee7f2556bbb6498c734f893852f079c.jpeg

【提问补充】温馨提示,大家在群里提问的时候。可以注意下面几点:如果涉及到大文件数据,可以数据脱敏后,发点demo数据来(小文件的意思),然后贴点代码(可以复制的那种),记得发报错截图(截全)。代码不多的话,直接发代码文字即可,代码超过50行这样的话,发个.py文件就行。

5dafbc91d84ab619cb49b5319ea1b1fc.png

大家在学习过程中如果有遇到问题,欢迎随时联系我解决(我的微信:pdcfighting1),应粉丝要求,我创建了一些高质量的Python付费学习交流群和付费接单群,欢迎大家加入我的Python学习交流群和接单群!

fe6db802cc0c4fedc4fc7b6b62d528a5.png

小伙伴们,快快用实践一下吧!如果在学习过程中,有遇到任何问题,欢迎加我好友,我拉你进Python学习交流群共同探讨学习。

12e8535e6058a299638207baeaa61992.jpeg

------------------- End -------------------

往期精彩文章推荐:

4ca7598079268c6831d220233d83a9c6.png

欢迎大家点赞,留言,转发,转载,感谢大家的相伴与支持

想加入Python学习群请在后台回复【入群

万水千山总是情,点个【在看】行不行

/今日留言主题/

随便说一两句吧~~

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值