requests 爬取的中文乱码

本人初学爬虫,在进行一次简单的爬取过程中中文乱码了,

import requests
from bs4 import BeautifulSoup

url = 'http://www.biqukan.com/1_1094/'

req = requests.get(url = url)

html_data = req.text

data_bf = BeautifulSoup(html_data)

div = data_bf.find_all('div',class_ = 'listmain')

print(div[0])

结果

<dd><a href="/1_1094/17484067.html">µÚ1252Õ °×ºÆ¸´»î£¡</a></dd>
<dd><a href="/1_1094/17487388.html">µÚ1253Õ ¹éÀ´£¡</a></dd>
<dd><a href="/1_1094/17499463.html">µÚ1254Õ ÄãÏë¿´¿´£¿</a></dd>
<dd><a href="/1_1094/17501990.html">µÚ1255Õ ̫¹ÅÕ½</a></dd>
<dd><a href="/1_1094/17512563.html">µÚ1256Õ µÛêª</a></dd>
<dd><a href="/1_1094/17518449.html">µÚ1257Õ Äã¸ÒÂîÎÒ£¿</a></dd>
<dd><a href="/1_1094/17530507.html">µÚ1258ÕÂ ÔÉÂä</a></dd>
<dd><a href="/1_1094/17533212.html">µÚ1259ÕÅ ·ç²¨ÔÙÆð£¡</a></dd>
<dd><a href="/1_1094/17546799.html">µÚ1260ÕÂ ÐÞ¸´·âÓ¡</a></dd>
<dd><a href="/1_1094/17550017.html">µÚ1261Õ ×æ</a></dd>
<dd><a href="/1_1094/17561892.html">µÚ1262Õ ÃÀÄмÆ</a></dd>
<dd><a href="/1_1094/17565237.html">µÚ1263Õ ²»ËÀµÚÁù¾í£¡</a></dd>
<dd><a href="/1_1094/17573237.html">µÚ1264Õ ʤ×棡</a></dd>
<dd><a href="/1_1094/17577779.html">µÚ1265ÕÂ Ö÷Ô×</a></dd>
<dd><a href="/1_1094/17587438.html">µÚ1266Õ ÐǺ£µ¤Ìï</a></dd>
<dd><a href="/1_1094/17591692.html">µÚ1267Õ ÔÉʯ½á½ç</a></dd>

解决办法:
改成GBK编码成功解决问题

req = requests.get(url = url)

req.encoding = 'GBK'
<dd><a href="/1_1094/16713147.html">1141章 天尊中期</a></dd>
<dd><a href="/1_1094/16716186.html">1142章 现在念</a></dd>
<dd><a href="/1_1094/16728868.html">1143章 生死现在经</a></dd>
<dd><a href="/1_1094/16732117.html">1144章 你敢勒索我?</a></dd>
<dd><a href="/1_1094/16768418.html">1145章 惹不起</a></dd>
<dd><a href="/1_1094/16772546.html">1146章 我要弄死你!</a></dd>
<dd><a href="/1_1094/16783727.html">1147章 卑鄙无耻下流</a></dd>
<dd><a href="/1_1094/16787107.html">1148章 大变降临</a></dd>
<dd><a href="/1_1094/16796152.html">1149章 养蛊</a></dd>
<dd><a href="/1_1094/16799565.html">1150章 战通天</a></dd>
<dd><a href="/1_1094/16810299.html">1151章 天尊丹</a></dd>
<dd><a href="/1_1094/16813176.html">1152章 争夺</a></dd>
<dd><a href="/1_1094/16821945.html">1153章 阵破</a></dd>
<dd><a href="/1_1094/16825640.html">1154章 好机会!</a></dd>
<dd><a href="/1_1094/16835184.html">1155章 抢到手</a></dd>
<dd><a href="/1_1094/16837455.html">1156章 没了!</a></dd>
  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值