Python+requests 爬取网站遇到乱码如何显示中文？

最新推荐文章于 2024-01-25 11:56:25 发布
最新推荐文章于 2024-01-25 11:56:25 发布
阅读量2.8k 收藏
点赞数 1
文章标签： python 乱码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43504837/article/details/117048522
版权

第一种显示中文

# print(response.content)  #二进制
# print(response.content.decode('utf-8')) #把二进制解码成utf-8，输出中文

第二种显示中文

# #直接给response.encoding赋值utf-8
# response.encoding = 'utf-8'
# print(response.text)

第三种显示中文

apparent_encoding会从网页的内容中分析网页编码的方式，所以apparent_encoding比encoding更加准确。当网页出现乱码时可以把apparent_encoding的编码格式赋值给encoding。

# response.encoding = response.apparent_encoding
# print(response.apparent_encoding)
# print(response.text)
李木子木子
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python 爬取外文网站并翻译中文和百度搜索验证
qq_28891989的博客
07-31 1385
今天分享一个爬虫的简单实例，目标是爬取一个外文网站的博客信息，然后通过谷歌翻译成英文并使用百度搜索验证。 今天只是简单实现功能，以后有时间结合Scrapy框架综合的写一个博客。 # _*_ coding:utf-8 _*_ # @Time : 15:52 # @Author :baizhou from googletrans import Translator impor...
python中response是什么意思_python中的requests,response.text与response.content ,及其编码
weixin_36254931的博客
02-09 4828
文章目录response的属性:1. response.status_code2. response.text3. response.content4. response.encoding5. response.apparent_encoding6. response.headersresponse的属性:import requestsresponse=requests.get("http://w...
python 使用requests模块爬取数据时中文乱码问题
一些小问题
05-08 2726
目录 前言 重现问题 1.寻找目标 2.编写代码 解决问题 我喜欢的方式 尾声 前言 要想解决乱码问题得先知道我们获取的内容是什么格式的字符编码集 最常用的判断方式是查看网页源代码中的<meta charset="XXX"> 第二种方式是在浏览器开发者工具中的控制台中输入document.charset 即可显示出网页的编码格式 重现问题 1.寻找目标 我先找一个会乱码的网站，就以国家统计局吧，先找一个中文字比较多的吧 先查看网页源代码，可以大概判断出是..
python中——requests爬虫【中文乱码】的3种解决方法
最新发布
2301_82000445的博客
01-25 3360
👉Python学习路线汇总👈Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（学习教程文末领取哈）👉Python必备开发工具👈。
python+requests+pytest+allure+yaml+DDT+logs 接口自动化框架终极版
06-07
框架代码已封装 小白 3行代码即可实现接口自动化 使用教程：https://blog.csdn.net/weixin_41121249/article/details/125162171?spm=1001.2014.3001.5502 框架搭建历程如下 1pytest插件，运行规则以及参数，pytest.ini配置文 件，跳过用例，用例执行顺序，夹具等 2Fixture固件，contest.py，断言以及Allure报告生成！ 3Allure报告定制以及Parametrize数据驱动 4requests模块详解以及Cookie，Session关联处理 5接口统一请求封装和接口关联封装 6接口自动化框架封装之规范YAML测试用例&接口关联封装改进&基础路径封装改进 7热加载封装以及断言封装 8数据类型处理以及DDT数据驱动封装 9异常日志与BaseUrl封装
python+requests+pytest 接口自动化框架(1-4)
06-02
python+requests+pytest 接口自动化框架 1 pytest插件，运行规则以及参数，pytest.ini配置文 件，跳过用例，用例执行顺序，夹具等 2 Fixture固件，contest.py，断言以及Allure报告生成 3 Pytest测试框架之Allure报告定制以及Parametrize数据驱动 4 接口自动化之requests模块详解以及Cookie，Session关联处理 参考笔记：https://blog.csdn.net/weixin_41121249/category_11679326.html?spm=1001.2014.3001.5482
python+requests+pytest 接口自动化框架(8)
06-06
接口自动化测试框架封装之数据类型处理以及DDT数据驱动封装 python+requests+pytest+allure+yaml 一、数据类型处理 “${read_extract_data(tag_id)}” 替换成 110 二、DDT数据驱动封装 数据驱动可以利用 excel，csv，yaml 用excel，csv的缺点 1.数据类型难处理 2.调用函数不是很方便 用yaml+ddt 实现数据驱动 笔记：https://blog.csdn.net/weixin_41121249/article/details/125102927
设置响应对象的编码格式
欢迎留言~
04-10 2360
设置响应对象的编码格式 爬虫爬取到的数据乱码？ 在发送请求完获取响应对象response对象后，需要对response对象设置编码格式 方式： response.encoding = response.apparent_encoding 其中response.apparent_encoding为获取响应对象的编码格式 response.encoding为设置对象的编码格式 # 网页源码 response = requests.get(url, headers) # 设置响应对象的编码格式 #
爬虫第一课——教你学会使用requests库
KK_2018的技术博客_程序员不止是程序员
05-08 2804
前言 在requests库可以说是爬虫中必备的一个第三方库（在python2版本中常用python的内置库urllib，在python3中也常用urllib库的一些模块方便开发）。 由于requests库是第三方库，所有需要安装 pip install requests requests库是作用简单来说就是：向要爬取的目标网站发送请求，再获取网站的响应数据，然后可以对这些响应数据进行简单处理。 一、发送请求的一些方式 发送请求的方式有七种，爬虫常用的是GET和POST。 （一）GET
python request爬取网页不显示中文、乱码
Android__An的博客
11-03 1294
【代码】python request爬取网页不显示中文、乱码。
raise_for_status()方法 / response.apparent_encoding
sometime here
03-24 3041
raise_for_status()方法 理解Response类非常重要，Response这样的一个对象返回了所有的网页内容，那么它也提供了一个方法，叫raise_for_status()，这个方法是专门与异常打交道的方法，该方法有这样一个有趣的功能，它能够判断返回的Response类型状态是不是200。如果是200，他将表示返回的内容是正确的，如果不是200，他就会产生一个HttpError的异...
Python+Requests+PyTest+Excel+Allure+sendMail
12-29
接口自动化测试实战的例子
python+requests 爬取斗图啦
05-09
python+requests 爬取斗图啦
python爬虫中一个str类型的unicode字符串转成中文的问题
weixin_33716941的博客
09-29 598
本文主要介绍部分爬虫在遇到%u5317%u4eac%u70e4%u9e2d这种类似unicode编码的str类型数据时，无法直接使用decode('unicode-escape')方法来转成中文的时候，一个转码的解决方案，以及这个方案的思路! 今天在爬一个网站的时候，遇到了一个网站，它的一些数据是通过ajax加载进来的一段json，它的value部分的内容是像下面这样子的： %20%20%20...
python解决requests获取中文的乱码问题
caixiaoniao9527的博客
06-20 242
就是在后面加一个req.encoding='utf-8'最原先的时候处理手段
requests请求响应结果转为中文
qq_42412061的博客
03-09 1407
我们在使用requests发送请求时，会得到以下结果 那么，问题来了，\u表示的那一 串unicode编码, 怎么转换成中文，可以用下面的命令 print(res.text.encode().decode("unicode_escape")) 就会转成中文了 这样问题就解决了 ...
什么时候用response.encoding = ‘utf-8‘ 什么时候用resopnse.content.decode()
weixin_51119756的博客
07-30 483
使用 response.encoding：当你知道服务器返回的内容使用了特定的字符编码格式，而 requests 没有正确地自动判断编码时，可以手动设置 response.encoding 来确保正确解码。如果响应的 Content-Type 头部没有指定字符编码格式，或者你对编码格式不满意，或者响应内容不是文本而是二进制数据，那么你可以手动设置 response.encoding 或使用 response.content 来获取原始的字节流，并使用 decode() 方法将其解码为字符串。
python 爬取页面后中文显示不出来的问题
m0_58122021的博客
11-02 981
爬取百度页面中文显示不了
python requests 爬取网页乱码
07-28
问题: python requests 爬取网页乱码 回答: 当使用Python的requests库爬取网页时，有时会遇到网页乱码的问题。解决这个问题的方法有几种。一种方法是在获取网页内容后，使用response.encoding属性来设置编码格式。例如，可以将response.encoding设置为'utf-8'来解决乱码问题。\[1\] 另一种方法是使用response.apparent_encoding属性来获取网页的实际编码格式，然后将response.encoding设置为该编码格式。这样可以更准确地解决乱码问题。例如，可以使用response.apparent_encoding来获取网页的实际编码格式，然后将response.encoding设置为该编码格式，如response.encoding = response.apparent_encoding。\[2\] 下面是一个示例代码，演示了如何使用requests库解决网页乱码问题： ```python import requests url = 'https://data.stats.gov.cn/easyquery.htm?m=QueryData&dbcode=hgnd&rowcode=zb&colcode=sj&wds=%5B%5D&dfwds=%5B%5D&k1=1651977499228&h=1' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36 Edg/101.0.1210.39' } def solveCoding(url, headers): response = requests.get(url=url, headers=headers, verify=False) response.encoding = response.apparent_encoding print(response.json()) if __name__ == '__main__': solveCoding(url=url, headers=headers) ``` 通过使用上述代码中的方法，你可以解决Python requests库爬取网页乱码的问题。\[3\] #### 引用[.reference_title] - *1* *2* *3* [python 使用requests模块爬取数据时中文乱码问题](https://blog.csdn.net/weixin_48368715/article/details/124645013)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值