【python】网页内容抓取遭遇乱码问题

最近呢,因为工作需求所以抓了很多网页内容。

一般是抓取内容之后存储到mysql的。

有时候会出现乱码问题。基本都是中文显示问题了。


一般情况下出现乱码情况和解决方案解决如下:

大前提: 一定要记得文章开头写上 #coding: utf-8

1.数据库可以显示中文,但是到网页上显示是错误的。

这种情况,开始我以为是网页编码问题,但是得知网页编码也是utf-8的时候。

我在代码加上了这两句:

import sys
reload(sys)
sys.setdefaultencoding("utf-8")

以及(红色部分):

db = MySQLdb.connect("localhost", "root", "wiwideapp", "wiapp", charset='utf8')
 

2.但是我还会遇到一种情况就是怎么价他就一直是乱码,插入数据库也是乱码

然后我查了下,直接把抓取的网页的格式编码改了就好了。

r = requests.get("http://www.xxxxxxxx.com")

r.encoding = "utf-8"

理论上来讲 用方法2或许可以解决方法一的问题。但是我没有试过。




后来看到文章说第一种方法不推荐使用  。原文忘记在哪了。。。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值