Python爬虫-gb2312编码中文乱码问题

最新推荐文章于 2023-12-14 15:45:29 发布
最新推荐文章于 2023-12-14 15:45:29 发布
阅读量595 收藏 1
点赞数
文章标签： python 爬虫
原文链接：http://www.cnblogs.com/IMWU/p/9536376.html
版权

昨天帮人看了个bug

用python2爬取这个网站（view-source:http://op1.win007.com/Companyhistory.aspx?type=1&id=115&company=%CD%FE%C1%AE%CF%A3%B6%FB(%D3%A2%B9%FA)&matchdate=8-15）

 

在爬取2018/8/15日数据时中文是乱码

在爬取2018/8/15日数据时中文又不是乱码

 

第一反应肯定是编码解码问题

 

遂打开网页，查看源代码

果然需要解码

 

设置好gb2312解码后再运行

还是乱码

 

最后查资料发现，有些识别出gb2312的网页实际需要用gbk解码

gb2312支持的汉字较gbk要少很多

 

最后改为gbk解码成功得到预期输出

 

转载于:https://www.cnblogs.com/IMWU/p/9536376.html

weixin_34248487
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
URI经过GB2312编码后导致中文乱码
rt12345678910的博客
03-29 2202
场景： 描述： 客户端默认编码为GB2312，服务端默认编码方式为UTF-8。客户端请求服务端，参数有中文。在实际请求过程中，客户端将中文“你好”编码为“%C4%E3%BA%C3”，服务端接收到会按照UTF-8格式进行解码，导致解码失败，得到的中文为一堆乱码。 原因分析：客户端和服务端两者编码方式不一致。 解决方法： 1、客户端、服务端两者统一的编码，如UTF-8。如何在tomcat、jetty...
vim 编辑器 打开GB2312、GBK文件乱码解决方法
BRAVE MAN的博客
11-28 2965
安装好的操作系统一般都带有vim编辑器，但是默认不支持GB2312中文，打开文件出现乱码，解决办法如下。 1.打开以下文件 1 sudovim/var/lib/locales/supported.d/local 2.添加以下内容 1 2 3 zh_CN.GBK GBK zh_CN.GB...
使用gb2312乱码，utf-8正常
放浪曲蘖的博客
10-08 5137
问题：使用gb2312编码会导致在终端输出和网页输出都是乱码，使用utf-8则不会。原因：jsp使用的编码方式是gb2312，这个编码方式决定了jsp页面所有显示文字的编码方式，包括text组件中输入的内容。对于get方法，请求参数是直接拼接在url后面的，而这个参数的编码应该也是由jsp使用的编码方式决定的。这些参数到达tomcat后，会首先经过一次解码，这个过程是程序不能干预的，发生在servlet所有的操作进行之前。而tomcat8之后默认的编码方式是utf-8，两个编码方式的不一致就导致了乱码。 .
GB2312转UTF-8部分中文乱码
iloki的博客
08-24 1950
GB2312中文乱码
解决Java中GB2312字符集缺失的汉字乱码问题
最新发布
yinshengchen的博客
12-14 1042
最近在做一个读取CSV文件，解析其中数据并入库的功能，使用的是OpenCSV组件，CSV文件字符集是GB2312，读取文件流时使用的也是GB2312字符集，但最终测试结果发现写入数据库的中文中存在乱码，奇怪的是同一个字段中的中文，只乱码一部分。GB2312是以简体中文为基础的国际标准汉字编码集，共收录六七千个简体汉字和其它非汉字的字符，而读取CSV文件中，存在未收录的汉字，如“埇”、“昇”等，这就导致了乱码。
python爬虫中乱码的问题
热门推荐
folnor的博客
10-15 2万+
python3中依旧会出现一些爬虫乱码 # -*- coding: utf-8 -*- 使用上述的不能解决问题 例如访问百度首页 ，用python自带的idel，返回text时会出现百度一下，你就知道 如果此时用sublime运行该代码，会报错UnicodeEncodeError: 'gbk' codec can't encode char
Python爬虫解决乱码问题
liuzh的博客
06-04 4672
问题原因： 爬取的所有网页无论何种编码格式，都转化为utf-8格式进行存储，与源代码编码格式不同所以出现乱码。 目前大部分都是utf-8格式或者ISO-8859-1，一部分是gbk格式（会出现乱码），国内网页还没有看到别的编码格式，欢迎补充指正！ 简单科普一下：　　 UTF-8通用性比较好，是用以解决国际上字符的一种多字节编码，它对英文使用8位（即一个字节），中文使用24位（三个字节）来编码。 U...
Python爬虫基于lxml解决数据编码乱码问题
09-16
在Python爬虫开发中，经常会遇到数据编码导致的乱码问题。当爬取网页内容时，如果不正确地处理字符编码，输出的结果可能会显示为奇怪的符号，如"å·²éª​è¯​ å®​å​¨ ç​¾ç​"。这通常是因为网页的...
Python网络爬虫出现乱码问题的解决方法
12-24
在实际的Python爬虫开发中，处理汉字编码问题时，可以采取以下步骤： 1. 使用`chardet`检测网页内容的原始编码。 2. 将原始内容解码为Unicode，即`decode()`操作。 3. 将Unicode内容编码为目标编码，如UTF-8，即`...
解决Python网页爬虫之中文乱码问题
01-20
Python中文乱码是由于Python在解析网页时默认用Unicode去解析，而大多数网站是utf-8格式的，并且解析出来之后，python竟然再以Unicode字符格式输出，会与系统编码格式不同，导致中文输出乱码，知道原因后我们就好...
字符串乱码解决gb2312
06-02
字符串乱码解决 gb2312 培训机构资料
解决gb2312编码导致乱码问题
06-09
使用方法见本人博客《IE中js往后台传输中文乱码》
常见编码与乱码 (ASCII、GB2312、GBK、Unicode、UTF-8、UTF-16、UTF-32)
weixin_42670634的博客
07-19 2740
但是，这里又出现了新的问题。由于计算机存储中1byte用来表示8bit，但是ascii字符只有128个，用二进制表示为7bit，刚好少了1bit，因此为了方便存储读取，在标准ASCII中，这1bit用作奇偶校验位，用固定8bit长度来存储字符。所有的数据在计算机中存储和运算时都要使用二进制数表示，例如，像a-z、A-Z这样的52个字母，以及0、1等数字还有一些常用的符号（例如*、#、@等）在计算机中存储时也要使用二进制数来表示，而具体用哪些二进制数字表示哪个符号，当然每个人都可以约定自己的一套，这就叫。
UTF-8 GB2312 中文乱码解决方案汇总
爱飞的蒲公英
03-27 6401
来源： http://hi.baidu.com/zhenyk/blog/item/f5158f5108d3cc898d543067.html string utfinfo = "document.write(/"alert('aa你好么？？');/");"; string gb2312info = string.Empty; Encoding utf8 = Encoding.UTF8; Encoding gb2312 = Encoding.GetEncoding("gb2312"); //
utf-8转换为gb2312后网页乱码的解决方法
qq_40808374的博客
08-20 1627
utf-8转换为gb2312后网页乱码的解决方法：用记事本打开源码，另存为，编码 那里选择 ANSI 即可 一、如果想把utf-8转为GB2312 用记事本打开源码，另存为，编码 那里选择 ANSI 即可。 二、如果想把GB2312转为utf-8 用记事本打开源码，另存为，编码 那里选择 UTF-8 即可。 特别提醒：CSS的编码最好和网页的编码一致，因为有一个古老的浏览器叫IE6，他的市场占用率依然非常高，编码不一致的CSS在IE6下不起作用。 ...
GB2312乱码
yuliana的博客
06-30 762
GB2312乱码问题
Python3.x 爬虫爬取GB2312编码的网页出现乱码的解决方式
m0_37664103的博客
02-28 1765
用Python3.x抓取GB2312编码方式的网站很容易出现乱码，原代码如图所示： import requests res = requests.get('http://www.jjwxc.net/onebook.php?novelid=1231454&chapterid=1') res.encoding = res.apparent_encoding novel = res.text ...
爬虫实战：遇上gb2312编码的网页
m0_37842667的博客
07-25 2957
网页使用什么编码方式（utf-8，gbk，gb2312）等对实际内容的提取影响不大，并不会报错，但爬取到的中文可能存在乱码的现象。虽然现在大部分采用utf-8的网页并不会让你遇到这个问题，但是如果遇到了，知道解决办法还是很重要的。 昨天爬取某网页时，发现提取出的几千行信息中呈现出大量中文乱码现象。话不多说，直接给出博主的解决方案： 1.我使用的是requests包，将爬取到的网页使用的cont...
source insight utf-8与GB2312切换时出现乱码问题
Dontla的博客
07-08 1787
目标：在utf-8编码下也能正常显示，不出现乱码首先，我们先要在没有乱码的情况下预览点击左上角File --> relead ad encoding，比如我选GB2312，在这个编码下，不会显示乱码 然后我把整个代码拷贝下来，复制到一个记事本中，注意记事本需要是utf-8编码，这在“另存为”时是可以设置的 然后我们回到source insight，把编码切换回utf-8 然后我们把刚刚粘贴到记事本的代码复制粘贴到source insight中，就ok了，这样我们保证在utf-8编码下不会出现乱码了..
python爬虫 汉字乱码
07-27
在Python网络爬虫过程中，遇到汉字乱码问题是比较常见的情况。根据引用\[1\]中提到的方法，我可以给你提供一些解决乱码问题的方法。 首先，你可以尝试使用引用\[2\]中的方法，即对于编码为utf-8的网址，进行两次重编码。你可以使用requests库发送请求，并在获取到的响应中设置编码为'GBK'，然后再将编码设置为'utf-8'。这样可以解决一些网页中文乱码的问题。 另外，你还可以尝试使用其他的编码方式来解决乱码问题。比如，可以尝试将编码设置为'gb2312'，如引用\[2\]中提到的方法。这种方法适用于网址编码为'gb2312'的情况。 综上所述，解决Python爬虫中文乱码问题的步骤可以总结为： 1. 使用requests库发送请求获取网页内容。 2. 根据网页编码设置响应的编码方式，可以尝试设置为'GBK'或'gb2312'。 3. 如果仍然存在乱码问题，可以尝试进行多次编码转换，如将编码设置为'utf-8'。 希望以上方法能够帮助你解决Python爬虫中文乱码问题。如果还有其他问题，请随时提问。 #### 引用[.reference_title] - *1* [盘点3种Python网络爬虫过程中的中文乱码的处理方法](https://blog.csdn.net/i54996/article/details/120749614)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [Python爬虫中文乱码问题](https://blog.csdn.net/wvqusrtg/article/details/113742520)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值