[Python] 使用urllib.request 的urlopen 读出来的中文部分类似 ‘\xe4\xb8\xad\xe5\x9b\xbd 的Unicode码

最新推荐文章于 2024-01-16 12:15:54 发布
最新推荐文章于 2024-01-16 12:15:54 发布
阅读量401 收藏
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mid_Faker/article/details/109023171
版权

解决方法：

使用str()函数进行转码：

headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36'}
url="http://www.pudong.gov.cn/shpd/InfoOpen/Topic/Czyjs/Moreinfo.aspx?CategoryNum=003003006001008003"
url = ur.Request(url, headers=headers)
content = ur.urlopen(url,timeout=15).read()
html =str(content,'utf-8')

 

大西瓜不甜
关注
专栏目录
urllib详解
枳郅
07-29 5801
urllib是python中请求url链接的标准库，主要包含以下几个模块 urllib.request：用于打开和阅读URL urllib.error：包含由引发的异常urllib.request urllib.parse：用于解析URL urllib.robotparser：用于解析robot.txt文件 urllib.request.urlopen() 模块定义了有助于在复杂环境中打开URL(主要是HTTP)的函数和类-基本身份验证和摘要身份验证，重构定向，Cookie等。 语法结构 urlli
爬虫基础（3）发送请求之urllib库与urllib3库的使用
Python达人
03-18 1874
文章目录一. urllib库与urllib3库的简介（一）什么是Urllib库（二）什么是urllib3库（三）urllib库与urllib3库的关系二. urllib库模块详析（一）发送请求1. urlopen方法2. Request对象3. 高级用法（1）使用Cookie（2）使用代理（二）解析链接1. 链接分段与合并2. 链接编码与解码3. 链接参数转换（三）处理异常1. URLError2. HTTPError3. 异常处理优化（四）分析Robots协议1. robots.txt文件是什么2. ro
urllib库初体验以及中文编码问题的探讨
banheny72467的博客
12-26 159
提出问题：如何简单抓取一个网页的源码 解决方法：利用urllib库，抓取一个网页的源代码 ------------------------------------------------------------------------------------ 代码示例 #python3.4 import urllib.request response ...
python3.5 urllib.request.urlopen 中文url问题
小沫_jie的博客
10-18 2922
https://www.zhihu.com/question/22899135首先，url中的中文要单独处理，不能中英文全部合在一起处理（因为一部分的特殊字符也会被处理掉）。其次。在python3.0+中，已经不支持之前的urllib.quote了，而是需要urllib.parse.quote(str)一种可行的方案import urllibs=‘中文’s=urllib.parse.quote(s)
urllib.request.urlopen打开包含中文的URL
最新发布
Teng的博客
01-16 429
在上述代码中，`urllib.parse.quote`函数用于对URL进行编码，`safe`参数指定了不需要被编码的字符，例如`/:?然后，使用编码后的URL打开连接。在使用`urllib.request.urlopen`打开包含中文的URL时，需要对URL进行编码。可以使用`urllib.parse.quote`函数来对URL进行编码。url_with_chinese = '在这里放入包含中文的URL'确保在使用中文URL时进行适当的编码，以避免潜在的问题。# 打开编码后的URL。# 对URL进行编码。
python 解析类似 '\xe4\xb8\xad\xe5\x9b\xbd'的unicode码为汉字
热门推荐
mighty13的专栏
09-13 3万+
#基础知识以Python2.7为例，以iPython样式演示In [1]:s='中国' In [2]:s Out [2]:s='\xe4\xb8\xad\xe5\x9b\xbd' In [3]:s=u'中国' In [4]:s Out [4]:s=u'\u4e2d\u56fd' In [1]:s='\xbe\xdc\xbe\xf8\xb7\xc3\xce\xca\xa1\xa
(二)python爬虫urllib库的基本使用及了解第一小节
AkingBnitss的博客
03-08 1万+
urllib库是python官方提供的一个http请求库,在python3中的urllib库其实是把python2里的urllib库和urllib2整合在一起的.我们这里主要说的就是python3首先开发环境:系统: windows10开发语言: Python3IDE: pytharm东西都准备好了就进入我们今天的主题.如何使用urllib快速的请求一个网站并且获得网站的源码,import url...
网络爬虫——urllib（1）
冷兮雪的博客
09-28 4960
❤️❤️❤️前篇简单介绍了什么是网络爬虫及相关概念，这篇开始讲解爬虫中的第一个库——urllib。
我的python学习之路----转换位串到utf-8字符串
kapuliyuehan的专栏
09-14 2万+
>>>req = urllib.request.urlopen(request,timeout=1000) >>> req.readall() b'\r\n\t\r\n\t\t\r\n\t\t\r\n\t\t5173 - \xe4\xb8\xad\xe5\x9b\xbd\xe
Python chardet库识别编码原理解析
09-17
- 示例：`'中国'.encode('utf-8')` -> `b'\xe4\xb8\xad\xe5\x9b\xbd'` 2. **GBK**：中文简体编码，广泛应用于中国大陆地区。 - 示例：`'中国'.encode('gbk')` -> `b'\xd6\xd0\xb9\xfa'` 3. **ISO-8859-1**：拉丁...
Python3之乱码\xe6\x97\xa0\xe6\xb3\x95处理方式
01-19
查看字符编码： import chardet response = chardet.detect(b'\xe5\xbd\x93\xe5\x89\x8d\xe7\x9b\xae\xe5\xbd\x95\xe4\xb8\x8b\xe6\x89\x80\xe6\x9c\x89\xe6\x96\x87\xe4\xbb\xb6\xe5\x90\x8d\xe6\xb1\x87\xe6\x80\xbb\xe5\x88\x97\xe8\xa1\xa8') print(response) {'encoding': 'utf-8', 'confidence': 0.99, 'language': ''} 乱码
python3 urlopen打开包含中文的url
sijiaqi11的博客
11-05 9196
当使用urllib.request.urlopen打开包含中文的链接时报错：from urllib import requesturl = 'https://baike.baidu.com/item/糖尿病' response = request.urlopen(url)提示错误：UnicodeEncodeError: ‘ascii’ codec can’t encode characters in
python 解析类似 ‘\xe4\xb8\xad\xe5\x9b\xbd‘的unicode码为汉字
zy835859234的博客
01-12 1238
#基础知识 以Python2.7为例，以iPython样式演示 In [1]:s=‘中国’ In [2]???? Out [2]:s=’\xe4\xb8\xad\xe5\x9b\xbd’ In [3]:s=u’中国’ In [4]???? Out [4]:s=u’\u4e2d\u56fd’ In [1]:s=’\xbe\xdc\xbe\xf8\xb7\xc3\xce\xca\xa1\xa3’ In [2]:print s Out [2]:�ܾ����ʡ� In [3]:b=repr(s) In [4]:pr
docker mysql Incorrect string value: ‘\xE4\xB8\xAD\xE5\x9B\xBD‘ for column ‘nation‘ at row 1
u010227042的博客
09-08 618
错误2：这是将数据库name的字符集改成utf8,排序规则改成utf8_general_ci即可，刷新运行后就解决了。这个是由于docker新建数据库没有选择默认latin字符集导致的，只要选择utf-8即可。
汉字十六进制编码转换\xe4\xb8\xad\xe5\x9b\xbd
ITjianghuxiaoxiong的专栏
08-25 2万+
最近用wireshark抓包分析接口是遇到
Python||urllib.request.urlopen()函数知道这些就够用了
漫步量化
11-24 1万+
urllib 官方文档 廖雪峰 崔庆才 urllib.request 官方文档 urllib.request.urlopen() 官方文档 urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None) parameter...
xe4 xe5 代码格式化
ksrsoft的专栏
12-11 1090
One parameter per line in function calls   As is One parameter per line in function definitions  As is Line break after open brace   Yes Line break before close brace   Yes Line break before o
python urlopen 网址中有中文时报错的解决办法
07-05 5211
用urllib.request.urlopen()打开带有中文的网址时会报错. 在网上查了半天没有找到好的解决方法,功夫不负有心人,终于让找到了解决这个问题的方法. 先用urllib.parse.quote()对链接中的中文进行处理 import urllib.request; import urllib.parse; url = "http://www.ba
python3 urllib读取网页写法
TaePony的博客
05-12 1589
参考了http://bookshadow.com/weblog/2015/04/22/sae-python-weibo-sdk-certificate-verify-failed/ #coding=utf-8 import urllib.request import ssl ssl._create_default_https_context = ssl._create_unveri
urllib.request.Request和urllib.request.urlopen区别
05-23
通过使用`urllib.request.Request`函数，我们可以创建一个HTTP请求对象，并在发送请求时传递给`urllib.request.urlopen`函数。 `urllib.request.urlopen` 函数是用于打开URL并读取数据的函数。该函数接收一个URL...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值