python 解决requests中文乱码

最新推荐文章于 2024-05-22 14:55:11 发布
最新推荐文章于 2024-05-22 14:55:11 发布
阅读量1.5w 收藏 5
点赞数 4
分类专栏： python 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jun118166/article/details/106994103
版权 
import requests

# 爬取阳光电影
html = requests.get("https://www.ygdy8.com/index.html")

print(html.text)

运行发现，打印乱码

<a href='/html/gndy/jddy/20160320/50541.html'>IMDBÆÀ·Ö8·Ö×óÓÒӰƬ400Óಿ</a><br/>
<a href='/html/gndy/jddy/20200627/60172.html'>2020Äêϲ¾ç¡¶Ôã¸â×Éѯ/²»Á¼ÂÉ</a><br/>
<a href='/html/gndy/dyzz/20200627/60171.html'>2019Äê»ñ½±¾çÇéÒôÀÖ¡¶ÃÛ·äÓë</a><br/>
<a href='/html/gndy/dyzz/20200627/60170.html'>2019Ä궯×÷ÔÖÄÑ¡¶¼«ÏÞÌÓÉú¡·B</a><br/>
<a href='/html/gndy/jddy/20200627/60169.html'>2008Äê¸ß·ÖÐüÒÉ¡¶ÏÓÒÉÈËXµÄÏ×</a><br/>
<a href='/html/gndy/jddy/20200627/60168.html'>2020Äê¿Æ»ÃÐüÒÉ¡¶»úе»­Æ¤¡·H</a><br/>
<a href='/html/gndy/jddy/20200627/60167.html'>2020Äê¿Æ»ÃÐüÒÉ¡¶»úе»­Æ¤¡·H</a><br/>
<a href='/html/gndy/jddy/20200627/60166.html'>2020ÄêÆæ»Ã¡¶ÏÉÊéÆæÌ·/×½ÏɼÇ</a><br/>
<a href='/html/gndy/jddy/20200626/60164.html'>2020Äê¾çÇé·¸×¶ñÃû/ÄÏ·½Ö®</a><br/>

怎么解决呢？网上答案很多，很容易误导有说设置utf-8的；这里我要跟大家讲的是方法，首先我们需要查看网站是什么编码，这个时候用会用到charset我们发现charset=gb2312
在这里插入图片描述
这个时候我们只需要添加一行html.encoding = "gb2312"即可

import requests

# 爬取阳光电影
html = requests.get("https://www.ygdy8.com/index.html")
html.encoding = "gb2312"
print(html.text)
烟雨江南行
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
解决python3中的requests解析中文页面出现乱码问题
09-19
requests是一个很实用的Python HTTP客户端库，编写爬虫和测试服务器响应数据时经常会用到。这篇文章给大家介绍了解决python3中的requests解析中文页面出现乱码问题，感兴趣的朋友一起看看吧
python，使用requests，BeautifulSoup读取HTML中文发生乱码
奶爸工具箱 - 老王的python日常
09-15 1858
发生读取HTML页面中文乱码 # 简洁地处理HTML文件 import bs4 import requests import logging,sys print(sys.getfilesystemencoding()) #print('Html is encoding by : %',chardet.detect(GetHtml(url))) logging.basicConfig(l...
【Python快速上手（二十九）】- Python requests 模块详解
最新发布
qq_38641481的博客
05-22 1400
Python的requests模块是一个用于发送HTTP请求的流行库，它比内置的urllib库更易用且功能强大。requests模块提供了简单的API，可以处理复杂的HTTP请求，处理Cookie、会话、重定向等功能。本文将详细讲解requests模块的基本用法、发送请求、处理响应、会话管理、异常处理和实际应用案例。requests模块是一个用于发送HTTP请求的第三方库，支持HTTP/1.1，并且具有良好的支持和文档。要使用requests模块，首先需要安装它：pip install requests
python requests post 中文乱码问题
weixin_34191845的博客
05-17 2865
POST 到服务器出现乱码，通过配置header 设置编码解决 import requests headers = {'content-type': 'charset=utf8'}rq=requests.post(url,data=data,headers = headers ) 转载于:https://www.cnblogs.com/leomo/p/6869230.html...
python 设置requests 编码，完美解决中文乱码问题
郑王铭
03-27 2万+
#调用requests模块 import requests #访问需要访问的页面 r = requests.get(url) #在输出结果前先设置内容编码 r.encoding = "utf-8" print(r.text)
python的requests响应请求，结果乱码，即使设置了response.encoding也没有用的解决方法
十一姐的博客
09-24 1284
获取的内容的编码方式。
python中requests爬去网页内容出现乱码问题解决方法介绍
12-25
这篇博客要解决的问题是如何避免在使用requests的时候出现乱码。 import requests res=requests.get("https://www.baidu.com") print res.content 以上就是使用requests进行简单的网页请求数据的方式。但是很容易...
Python request中文乱码问题解决方案
09-17
总的来说，解决Python `requests`库中的中文乱码问题，关键在于正确识别并使用响应内容的正确编码。通过修改`r.encoding`或使用`decode()`函数，可以有效地避免乱码问题。在实际开发中，应当始终关注字符编码，确保...
python requests 出现中文乱码怎么办
郑王铭
03-18 492
在请求后，设置编码，再输出内容就行 import requests r = requests.get(url, headers=headers,verify=False) r.encoding = "utf-8" print(r.text)
Python Requests模块中文乱码问题
GXSmile的博客
02-25 413
这时 我们可以使用res.content转换为二进制类型,然后使用str方法转换为uft-8编码。在使用requests模块时,会遇到返回的信息为中文乱码的问题。
Python爬虫解决中文乱码问题
low5252的博客
09-23 882
Python爬虫解决中文乱码问题 本文只是说明一下一般性编码流程，如果不能解决欢迎留言。 爬取过程中是老套路，先获取网页源代码， 获取的小说内容是乱码， 加上了#coding:utf-8，进行utf-8转换也没有解决，结果发现抓取的网站为gbk编码，这样进不直接进行utf-8转换 PS：爬取的所有网页无论何种编码格式，都转化为utf-8格式进行存储，与源代码编码格式不同所以出现乱码 UTF-8通用...
Python使用requests发送POST请求实例代码
09-20
主要介绍了Python使用requests发送POST请求实例代码，小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下
post和get请求中文乱码解决方案
tomorrow_C的博客
12-23 663
一.get请求乱码问题解决方案 假设： url:http://localhost:8080/test?name=测试 1、在服务器进行处理 得到的内容是"iso8859-1"，使用 String str = new String(name.getByte("iso8859-1"),"utf-8"); 得到正确的值。 ps：这种方式有个缺点；这种方式服务
python爬虫——爬取电影天堂磁力链接
乐亦亦乐的博客
08-28 2万+
爬虫：静态网页爬取 工具：pycharm，python3.6，火狐浏览器 模块：requests(可以使用pip install requests安装)，re（不用安装） 网址：http://www.ygdy8.net/html/gndy/dyzz/index.html电影天堂 以火狐浏览器为例 复制影片名称，在网页源代码中查找，看能否找到。 查看页面源代码，Ctrl+f。 ...
解决Requests中文乱码
热门推荐
chaowanghn的博客
02-06 8万+
都在推荐用Requests库，而不是Urllib，但是读取网页的时候中文会出现乱码。分析： r = requests.get(“http://www.baidu.com“) **r.text返回的是Unicode型的数据。 使用r.content返回的是bytes型的数据。 也就是说，如果你想取文本，可以通过r.text。 如果想取图片，文件，则可以通过r.content。**获取一
python中使用requests模块乱码的解决方法
m0_74459049的博客
05-07 2834
python中使用requests模块乱码的解决方法
python爬虫实现下载电影天堂电影
justforfun
09-26 1万+
这段时间一直在学习Python爬虫，为了加强学习过程，也为了以后的学习留下点痕迹，特此记录下整篇爬虫的过程。以电影天堂为例，提取出当前界面的最新电影。 # -*- coding:utf-8 -*- import urllib2 import os import re url = 'http://www.dy2018.com/html/gndy/dyzz/index.html' #这是电影天堂
python爬虫自学4-继续爬网站-2022-02-14
嵌入式 arm 单片机 入门 视频 培训
02-14 340
感觉应该要趁热打铁，不然放几天又凉了。 跟上一个例子比呢： 1.这次我使用了字典来保存数据，并且把字典的内容存储到excel表格 2.使用正则表达式解析字符串，分离字符串 3.替换掉出现的中文全角空格 import requests from bs4 import BeautifulSoup import re # import bs4 import xlsxwriter as xw baseUrl = "https://www.ygdy8.com" # 用于解析文本 listCon
Python爬虫框架：scrapy爬取迅雷电影天堂最新电影ed2k
人生苦短， 还不用Python？
10-04 2642
项目开始 第一步仍然是创建scrapy项目与spider文件 切换到工作目录两条命令依次输入 scrapy startproject xunleidianying scrapy genspider xunleiBT https://www.xl720.com/thunder/years/2019 内容分析 打开目标网站（分类是2019年上映的电影），分析我们需要的数据 进入页面是列表的形式就像豆...
python requests 中文乱码
09-19
python中使用requests库发送HTTP请求时，可能会遇到中文乱码的问题。中文乱码的出现原因一般是因为编码方式不匹配导致的。解决这个问题的方法有以下几种： 1. 使用response.content.decode()方法指定正确的编码方式进行解码，例如： ``` import requests res = requests.get("https://www.baidu.com/") try: txt = res.content.decode('gbk') # 先尝试使用gbk解码 except UnicodeDecodeError as e: txt = res.content.decode('utf-8') # 如果出错，则使用utf-8解码 print(txt) ``` 2. 使用response.text属性获取响应内容，并自动进行解码，例如： ``` import requests res = requests.get("https://www.baidu.com/") print(res.text) ``` 3. 如果以上方法都无效，可以尝试在发送请求时指定headers，通过修改"Accept-Encoding"和"User-Agent"字段来避免中文乱码问题，例如： ``` import requests headers = { 'Accept-Encoding': 'gzip, deflate, br', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' } res = requests.get("https://www.baidu.com/", headers=headers) print(res.text) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值