Python 爬虫编码格式问题 gb2312转换utf8

最新推荐文章于 2022-11-22 11:58:03 发布

aini4568

最新推荐文章于 2022-11-22 11:58:03 发布

阅读量1k

点赞数

文章标签： python 爬虫

原文链接：http://www.cnblogs.com/xuchunlin/p/7814932.html

版权

遇到的问题是：爬取网页得到的结果如下（部分）里面的中文出现乱码。

<!DOCTYPE html>
<html lang='zh-CN'>
<head>
<meta charset='gb2312'>
<meta content='IE=edge' http-equiv='X-UA-Compatible'>
<title>2017Äê11ÔÂ10ÈÕÃâ·Ñ´úÀíip µÚ1Ò³</title>
<meta name="keywords" content="´úÀíip£¬´úÀíip¼ì²â£¬´úÀíipÑéÖ¤£¬¿ÉÓÃ´úÀíip£¬×îÐÂ´úÀíip£¬½ñÈÕ¿ÉÓÃ´úÀíip£¬Ãâ·Ñ´úÀíip">
<meta name="description" content="ip181ÊÇÒ»¼Ò×¨Îª´úÀíipÊ¹ÓÃÕß´òÔìµÄ´úÀíip¼ì²âÆ½Ì¨£¬ÕâÀï²»½öÌá¹©×¨ÒµµÄ´úÀíipÑéÖ¤·þÎñ£¬»¹ÎªÄúÌá¹©×îÐÂµÄÃâ·Ñ´
úÀíip£¬ÊµÊ±¸üÐÂ´úÀíip¡£">
<link href="/ip181.css" media="all" rel="stylesheet" />
</head>
<body>
<style>

.gx{
    font-size:14px;color:#666666;margin-left:10px;font-weight:100;

这是

print response.encoding   

输出结果是   ISO-8859-1


使用的方法是

print response.text.encode('ISO-8859-1').decode(requests.utils.get_encodings_from_content(response.text)[0])

结果：

<!DOCTYPE html>
<html lang='zh-CN'>
<head>
<meta charset='gb2312'>
<meta content='IE=edge' http-equiv='X-UA-Compatible'>
<title>2017年11月10日免费代理ip 第1页</title>
<meta name="keywords" content="代理ip，代理ip检测，代理ip验证，可用代理ip，最新代理ip，今日可用代理ip，免费代理ip">
<meta name="description" content="ip181是一家专为代理ip使用者打造的代理ip检测平台，这里不仅提供专业的代理ip验证服务，还为您提供最新的免费代理ip，实时更新代理ip。">
<link href="/ip181.css" media="all" rel="stylesheet" />
</head>
<body>
<style>

转载于:https://www.cnblogs.com/xuchunlin/p/7814932.html

aini4568

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Python 爬虫编码格式问题 gb2312转换utf8

遇到的问题是：爬取网页得到的结果如下（部分）里面的中文出现乱码。　　<!DOCTYPE html><html lang='zh-CN'><head><meta charset='gb2312'><meta content='IE=edge' http-equiv='X-UA-Compatible'&gt...
复制链接

扫一扫