本人初学爬虫,在进行一次简单的爬取过程中中文乱码了,
import requests
from bs4 import BeautifulSoup
url = 'http://www.biqukan.com/1_1094/'
req = requests.get(url = url)
html_data = req.text
data_bf = BeautifulSoup(html_data)
div = data_bf.find_all('div',class_ = 'listmain')
print(div[0])
结果
<dd><a href="/1_1094/17484067.html">µÚ1252Õ °×ºÆ¸´»î£¡</a></dd>
<dd><a href="/1_1094/17487388.html">µÚ1253Õ ¹éÀ´£¡</a></dd>
<dd><a href="/1_1094/17499463.html">µÚ1254Õ ÄãÏë¿´¿´£¿</a></dd>
<dd><a href="/1_1094/17501990.html">µÚ1255Õ ̫¹ÅÕ½</a></dd>
<dd><a href="/1_1094/17512563.html">µÚ1256Õ µÛêª</a></dd>
<dd><a href="/1_1094/17518449.html">µÚ1257Õ Äã¸ÒÂîÎÒ£¿</a></dd>
<dd><a href="/1_1094/17530507.html">µÚ1258ÕÂ ÔÉÂä</a></dd>
<dd><a href="/1_1094/17533212.html">µÚ1259ÕÅ ·ç²¨ÔÙÆð£¡</a></dd>
<dd><a href="/1_1094/17546799.html">µÚ1260ÕÂ ÐÞ¸´·âÓ¡</a></dd>
<dd><a href="/1_1094/17550017.html">µÚ1261Õ ×æ</a></dd>
<dd><a href="/1_1094/17561892.html">µÚ1262Õ ÃÀÄмÆ</a></dd>
<dd><a href="/1_1094/17565237.html">µÚ1263Õ ²»ËÀµÚÁù¾í£¡</a></dd>
<dd><a href="/1_1094/17573237.html">µÚ1264Õ ʤ×棡</a></dd>
<dd><a href="/1_1094/17577779.html">µÚ1265ÕÂ Ö÷Ô×</a></dd>
<dd><a href="/1_1094/17587438.html">µÚ1266Õ ÐǺ£µ¤Ìï</a></dd>
<dd><a href="/1_1094/17591692.html">µÚ1267Õ ÔÉʯ½á½ç</a></dd>
解决办法:
改成GBK编码成功解决问题
req = requests.get(url = url)
req.encoding = 'GBK'
<dd><a href="/1_1094/16713147.html">第1141章 天尊中期</a></dd>
<dd><a href="/1_1094/16716186.html">第1142章 现在念</a></dd>
<dd><a href="/1_1094/16728868.html">第1143章 生死现在经</a></dd>
<dd><a href="/1_1094/16732117.html">第1144章 你敢勒索我?</a></dd>
<dd><a href="/1_1094/16768418.html">第1145章 惹不起</a></dd>
<dd><a href="/1_1094/16772546.html">第1146章 我要弄死你!</a></dd>
<dd><a href="/1_1094/16783727.html">第1147章 卑鄙无耻下流</a></dd>
<dd><a href="/1_1094/16787107.html">第1148章 大变降临</a></dd>
<dd><a href="/1_1094/16796152.html">第1149章 养蛊</a></dd>
<dd><a href="/1_1094/16799565.html">第1150章 战通天</a></dd>
<dd><a href="/1_1094/16810299.html">第1151章 天尊丹</a></dd>
<dd><a href="/1_1094/16813176.html">第1152章 争夺</a></dd>
<dd><a href="/1_1094/16821945.html">第1153章 阵破</a></dd>
<dd><a href="/1_1094/16825640.html">第1154章 好机会!</a></dd>
<dd><a href="/1_1094/16835184.html">第1155章 抢到手</a></dd>
<dd><a href="/1_1094/16837455.html">第1156章 没了!</a></dd>