Python requests库中文乱码问题汇总（编码）

最新推荐文章于 2022-12-06 18:37:43 发布
最新推荐文章于 2022-12-06 18:37:43 发布
阅读量177 收藏 1
点赞数
文章标签： python
原文链接：http://www.cnblogs.com/IMWU/p/10956124.html
版权

Python requests库中文乱码问题汇总（编码）

 

在用requests爬取网页时，经常会碰到网页的编码问题导致中文乱码

<dt>ç¹è²æå¡</dt>

这时首先查看页面源代码，看meta标签里的编码是什么，然后设置成相应的编码即可

 
 
 
  
    response.encoding = 'utf-8'  # 设置编码
 
 
 
 
 
 
但有的时候设置meta标签查看的编码依然乱码，这是可以使用apparent_encoding查看真实编码
 
 
 
  
response.apparent_encoding
 
 
 
 
然后设置编码
 
 
 
  
 response.encoding = 'utf-8'  # 设置编码
 
 
 
 
还有一种特殊情况，获得的编码是gb2312，这是设置编码为gb2312依然会乱码。
 
 
这是因为gb2312支持的汉字较gbk要少很多，所以有些gb2312的网页实际需要用gbk解码。
 
 
 
 

 

转载于:https://www.cnblogs.com/IMWU/p/10956124.html

                

        

        




    

  


    

      

        

            

              
                
                  weixin_33701564
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
python爬虫之HTTP请求库requests的安装与使用，万字教学，全网最全（2）

				
			

			

				

					m0_59470317的博客
				

				

					09-18
					
					1106
					
				

			

		

		

			
				
本文详细介绍了requests模块的安装及使用，从零开始带领大家学会如何利用python构建爬虫程序，内容丰富，包含了requests模块的各种功能；通过案例讲解使大家可以更好的理解与使用发送网络请求，获得响应数据官方文档:Requests是用python语言基于urlib编写的，采用的是Apache2 Licensed开源协议的HTTP库，它比urllib更加方便，可以节约大量的工作，完全满足HTTP测试需求的库。

			
		

	



                

              
                



	

		

			

				
					
超详细的 Python 方法、函数总结

				
			

			

				

					Amo Xiang的博客
				

				

					05-17
					
					3万+
					
				

			

		

		

			
				
目录阅读前必读（不看会错过一个亿）一、字符串操作1.1 capitalize() 方法——字符串首字母转换为大写1.2 casefold() 方法——所有大写字符转换为小写1.3 center() 方法——字符串居中填充1.4 count() 方法——统计字符串出现次数1.5 encode() 方法——编码字符串1.6 decode() 方法——解码字符串1.7 endswith() 方法——是否以指定子字符串结尾、startswith() 方法1.8 find() 方法——字符串首次出现的索引位置(rfi

			
		

	



                


  
              

                


	

		

			

				
					
关于python使用requests库，中文乱码对问题

				
			

			

				

					qq_40677222的博客
				

				

					11-15
					
					333
					
				

			

		

		

			
				
今天使用python的requests库，爬取百度首页，中午的时候还能正常显示中文，但是到下午的时候就乱码了。
真心有点懵逼，好了看代码。
import requests
url = “http://www.baidu.com”
r = requests.get(url)
print(r.text)
无中文显示！
修改最后一行代码为：
print(r.content.decode(“utf-8”)...

			
		

	





	

		

			

				
					
为什么requests库有时中文会乱码

				
			

			

				

					BuXianShan的博客
				

				

					04-25
					
					361
					
				

			

		

		

			
				
中文乱码肯定是编码的问题
一般情况下requests库会根据响应头里的charset来选择相应的解码方式。
如抓取百度首页：

但是当响应头没有charset时，requests就会采用默认的“ISO-8859-1”编码，这种编码是不支持中文的，所以中文肯定会乱码。
例如抓取LOL首页：

该响应头没有说明charset，所以requests采用默认的“ISO-8859-1”编码，遇到中文肯定就乱...

			
		

	



		

			
		



	

		

			

				
					
Python第三方库requests的编码问题

				
			

			

				

					擅用工具，事半功倍！
				

				

					01-11
					
					471
					
				

			

		

		

			
				
PS：这个解决方法可能很简单，但是这是平时的一些细节问题，所以有必要提醒一下！

首先代码不多，就是通过get方法去获取豆瓣首页信息，如图：但是会报UnicodeEncodeError: 'gbk' codec can't encode character '\u2122' in position 42358: illegal multibyte sequence错误



其中，r.encod...

			
		

	





	

		

			

				
					
Python3.x POST data的编码错误解决方法

				
			

			

				

					漫步彩云之端的专栏
				

				

					11-14
					
					1369
					
				

			

		

		

			
				
import urllib.request 
import urllib 
 #——————————————原始代码values = {“username”:”*“,”password”:”*“} 
data = urllib.parse.urlencode(values) 
url=”https://passport.csdn.net/account/login?from=http://my.cs

			
		

	





	

		

			

				
					
Python——requests模块详解

					
最新发布

				
			

			

				

					m0_72557783的博客
				

				

					12-06
					
					7803
					
				

			

		

		

			
				
在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得人性化，使用Requests可以轻而易举的完成浏览器可有的任何操作。

			
		

	





	

		

			

				
					
python -- 将html写入文件方法及中文乱码问题

				
			

			

				

					Orange0_0的博客
				

				

					10-18
					
					1189
					
				

			

		

		

			
				
代码如下：
with open("文件名称", "w", encoding="utf-8") as f:
>     f.write(html)

其中需要注意：

“文件名称”：若是写入的文件为html格式，则写成"name.html"；若为text文件，则写成"name.text"
“w”：表示将文本文件写入，若是写入二进制文件（如图片，视频等），则使用"wb"
encoding=“ut...

			
		

	





	

		

			

				
					
requests模块详解

				
			

			

				

					weixin_44207181的博客
				

				

					05-20
					
					1513
					
				

			

		

		

			
				
requests是使用Apache2 licensed 许可证的HTTP库。
用python编写。
比urllib2模块更简洁。
Request支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。
在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得人性化，使用Request...

			
		

	





	

		

			

				
					
Python requests库中文乱码问题

				
			

			

				

					dengdieli5313的博客
				

				

					03-14
					
					765
					
				

			

		

		

			
				
当使用requests库的时候，会出现中文乱码的情况
参考代码分析Python requests库中文编码问题
   Python HTTP库requests中文页面乱码解决方案！
分析
根据这两篇文章可知：
  分析requests的源代码发现，text返回的是处理过的Unicode型的数据，而使用content返回的是bytes型的原始数据。也就是说，r.cont...

			
		

	





	

		

			

				
					
Python requests 中文乱码问题解决方案

				
			

			

				

					weixin_42927927的博客
				

				

					03-22
					
					7358
					
				

			

		

		

			
				
方案一：requests请求成功时，设置它的编码



注：前提是知道它的编码，一般通过鼠标右键网页就可以查看网页原代码

方案二：利用apparent_encoding



注：apparent_encoding本质上是requests本身对网页源码的猜测，如果猜不到，会返回None

方案三：先解成二进制，之后再转成想要的编码方式



方案四：修改headers里的Accept-Encoding参数，如下：




...

			
		

	





	

		

			

				
					
python上按右键_python实现应用程序在右键菜单中添加打开方式功能

				
			

			

				

					weixin_39945445的博客
				

				

					11-28
					
					290
					
				

			

		

		

			
				
最近项目组开发的一个小工具想要在右键菜单中添加打开方式，以有道云笔记为例进行了需求拆解和代码编写1.需求拆解：如何实现手动添加右键菜单的打开方式：Step1：打开注册表编辑器，Win+R->输入 “regedit”Step2：在HKEY_CLASSES_ROOT/*/shell (或者HKEY_LOCAL_MACHINE/SOFTWARE/Classes/*/shell ，两个目录是一样的) 添加...

			
		

	





	

		

			

				
					
【okhttp】Post请求设置utf-8编码（解决汉语请求乱码问题）

					
热门推荐

				
			

			

				

					止水
				

				

					10-21
					
					6万+
					
				

			

		

		

			
				
Post请求设置utf-8编码（解决汉语请求乱码问题）

			
		

	





	

		

			

				
					
Python学习--- requests库中文编码问题

				
			

			

				

					weixin_30633949的博客
				

				

					09-08
					
					645
					
				

			

		

		

			
				
为什么会有ISO-8859-1这样的字符集编码  requests会从服务器返回的响应头的 Content-Type 去获取字符集编码，如果content-type有charset字段那么requests才能正确识别编码，否则就使用默认的 ISO-8859-1. 一般那些不规范的页面往往有这样的问题. \requests\utils.pydef get_encoding_from_...

			
		

	





	

		

			

				
					
python抓取gb2312/gbk编码网页乱码问题

				
			

			

				

					junli_chen的博客
				

				

					11-28
					
					1万+
					
				

			

		

		

			
				
做了个网络爬虫抓取网页，但如果网页是gbk/gb2312编码，则会出现乱码问题，如下：
取得文字后，直接打印，输出结果str如下：¹óÖÝÈËÊ¿¼ÊÔÐÅÏ¢Íø_¹óÖÝÈËÊ¿¼ÊÔÍø_¹óÖݹ«ÎñÔ±¿¼ÊÔÍø_¹óÖÝÖй«


这个问题困扰我好长时间，baidu,google了一番也没有找到完全可行的方法，继续瞎折腾，最后居然搞出来了！编码转换来转换去的，还是得不

			
		

	





	

		

			

				
					
python3下urlopen解析中文url编码错误

				
			

			

				

					Alex的博客
				

				

					07-10
					
					1322
					
				

			

		

		

			
				
 
 


原因是因为中文字符串无法编码成为ascii码。

看了看后台提交的中文url，最后是转换为百分号编码模式来提交的。所以我们只需要对中文进行百分号编码之后，就可以encode为ascii了。

python3中我们可以找到这个编码的函数： 


将中文用quote函数转换成百分号编码后，即可正常运行。



以下是用图灵机器人实现的在线聊天机器人 
...

			
		

	





	

		

			

				
					
Python requests库快速入门教程

				
			

			

				

					
				

			

		

		

			
				
"这篇教程主要涵盖了Python的第三方库requests的快速入门，适合初学者和开发者学习使用。文章通过实例代码详细讲解了如何使用requests库进行HTTP请求，包括GET、POST以及其他HTTP方法，并且介绍了如何处理URL查询...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值