解决Python爬取百度页面出现中文乱码问题

最新推荐文章于 2023-09-13 10:36:50 发布
最新推荐文章于 2023-09-13 10:36:50 发布
阅读量2.7k 收藏 4
点赞数 8
文章标签： python 开发语言 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bashine/article/details/125306542
版权

学爬虫碰到如下情况

# coding:utf-8
# 爬虫：通过编写程序来获取到互联网上的资源
# 需求：用程序模拟浏览器，输入一个网址，从该网址中获取到资源或者内容
from urllib.request import urlopen

url = "http://www.baidu.com"
resp = urlopen(url)

# print(resp.read().decode("utf-8"))
with open("mybaidu.html", mode="w") as f:
     f.write(resp.read().decode("utf-8"))
print("over!")

按以上代码运行，中文部分显示乱码

<!DOCTYPE html><!--STATUS OK--><html><head><meta http-equiv="Content-Type" content="text/html;charset=utf-8"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><meta content="always" name="referrer"><meta name="theme-color" content="#ffffff"><meta name="description" content="ȫ�����ȵ������������桢���������������ݵػ�ȡ��Ϣ���ҵ����󡣰ٶȳ���ǧ�ڵ�������ҳ���ݿ⣬����˲���ҵ���ص����������"><link rel="shortcut icon" href="/favicon.ico" type="image/x-icon" /><link rel="search" type="application/opensearchdescription+xml" href="/content-search.xml" title="�ٶ�����" /><link rel="icon" sizes="any" mask href="//www.baidu.com/img/baidu_85beaf5496f291521eb75ba38eacbd87.svg"><link rel="dns-prefetch" href="//dss0.bdstatic.com"/><link rel="dns-prefetch" href="//dss1.bdstatic.com"/><link rel="dns-prefetch" href="//ss1.bdstatic.com"/><link rel="dns-prefetch" href="//sp0.baidu.com"/><link rel="dns-prefetch" href="//sp1.baidu.com"/><link rel="dns-prefetch" href="//sp2.baidu.com"/><title>�ٶ�һ�£����֪��</title><style index="newi" type="text/css">#form .bdsug{top:39px}.bdsug{display:none

解决方法，将w改为wb

删除decode（''utf-8'')

然后运行就正常啦！ 

一只迷人的坩埚
关注
  • 8
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 9
    评论
运维系列：[网络]从wireshark抓包看百度的https流程
weixin_54626591的博客
05-16 1957
[网络]从wireshark抓包看百度的https流程
百度.py python 爬取百度搜索结果，及安全验证问题
11-16
python 爬取百度搜索结果，及安全验证问题
使用requests爬取百度首页源码会乱码，而搜狗首页不会
qq_44503490的博客
05-25 651
import requests url = "https://www.baidu.com" response = requests.get(url) response.encoding = 'utf-8' page_txt = response.text with open('./sougou.html', 'w', encoding='UTF-8') as fp: fp.write(page_txt)
python url中文传参乱码问题
Chyt24的博客
04-15 1156
背景 想要在这个网站搜鱼一点通指定keyword搜索（如图 发现url里输入中文会变成乱码 解决过程 使用urllib.parse.quote直接转码，发现跳转后会链接会自动变成中文 start_urls = ['http://www.bbwfish.com/soresult.asp?keyword={}&stype=5'] def parse(self, response): keyword = "鱼" url = self.s..
【python爬虫】遇到中文乱码了怎么办？看看这篇文章能不能教会你
bagell的博客
09-13 1352
看上去确实头大，对于爬虫初学者来说，这个乱码摆在自己面前，犹如拦路虎一般难顶。不过别慌，快快在这里给大家整理了三种方法，专门用于针对中文乱码的，希望大家在后面再次遇到中文乱码的问题，在此处可以得到灵感！针对Python网络爬虫过程中的中文乱码问题，给出了3种乱码解决方法，虽然文中例举了3种方法，但是快快相信肯定还有其他的方法的，也欢迎大家在评论区谏言。如果你需要学习交流的资料，这个链接有免费的课程可能对你有些帮助哦~点击这里跳转哦~
Python爬取百度网页时出现的编码问题
qq_58299429的博客
07-01 234
解决办法，使用UTF-8编码方式来处理字符串或文件的读写操作。嘿嘿，美好的一天又要结束了，愿自己保持热爱，淦！下面是我没有修改的代码。
python url中文乱码
玛卡巴卡
06-16 956
编码问题 1.URL 只允许一部分 ASCII 字符（数字字母和部分符号），其他的字符（如汉字）是不符合 URL 标准.所以 URL 中使用其他字符就需要进行 URL 编码。 2.通常 URL 编码是基于 UTF-8 的（当然这和浏览器平台有关）比如『我』，unicode 为 0x6211, UTF-8 编码为 0xE6 0x88 0x91，URL 编码就是 %E6%88%91 在Python中 import urllib.parse #编码 print(urlib.parse.quote("你好你好")
python爬取百度百科的页面
04-05
本教程将详细介绍如何使用Python的BeautifulSoup和urllib2库来爬取百度百科的页面内容。 首先，`urllib2`是Python标准库中的一个模块，用于处理URL相关的任务，包括打开网络连接、发送HTTP请求等。在爬虫中，我们...
python爬取百度文库实例，代码可见
11-02
python爬取百度文库实例，代码可见，仅用于学习研究，不可用于各种商业私有用途，
python爬取百度贴吧的数据.rar
最新发布
07-03
python爬取百度贴吧的数据.rarpython爬取百度贴吧的数据.rarpython爬取百度贴吧的数据.rarpython爬取百度贴吧的数据.rarpython爬取百度贴吧的数据.rarpython爬取百度贴吧的数据.rarpython爬取百度贴吧的数据....
Python实现的爬取百度文库功能示例
01-01
本文实例讲述了Python实现的爬取百度文库功能。分享给大家供大家参考，具体如下： # -*- coding: utf-8 -*- from selenium import webdriver from bs4 import BeautifulSoup from docx import Document from docx....
【python爬虫源代码】用python爬取百度搜索的搜索结果！
05-17
用python爬取百度搜索结果，字段包含：页码、标题、百度链接、真实链接、简介、网站名称。文件包含： 1、baidu_spider_0326.py 爬虫源码文件 2、爬取百度_马哥是谁_前5页.csv 爬取结果示例 - 同步讲解文章：...
python爬取100个百度百科页面信息
04-29
本项目“python爬取100个百度百科页面信息”是一个初阶的实例，旨在教授如何使用Python来抓取并处理网页数据。 首先，我们需要了解Python中的几个关键库： 1. **requests**: 这是一个用于发送HTTP请求的库，通过它...
最新Python爬取百度图片.zip
06-26
这个"最新Python爬取百度图片.zip"文件提供了一个Python脚本，专门用于从百度图片搜索引擎中爬取图片。以下是对这个脚本及其可能涉及的知识点的详细解释： 1. **Python基础**：首先，你需要了解Python的基础语法，...
Python爬取百度贴吧数据.zip
06-01
本案例“Python爬取百度贴吧数据”就是一个典型的Python网络爬虫应用，主要涉及以下几个关键知识点： 1. Python基础：理解Python的基础语法是进行爬虫开发的前提，包括变量、数据类型、控制结构（如if-else、for...
python爬虫乱码问题
qq_46020648的博客
01-31 177
项目场景： 使用爬虫爬取网页文本 问题描述： 所有中文文本全是乱码，如图： 原因分析： 源网页编码和爬取下来后的编码格式不一致。 如源网页为gbk编码的字节流，而我们抓取下后程序直接使用utf-8进行编码并输出到存储文件中，这必然会引起乱码 即当源网页编码和抓取下来后程序直接使用处理编码一致时，则不会出现乱码; 此时再进行统一的字符编码也就不会出现乱码了 解决方案： 根据源网页编码自动调整 html = requests.get(url=url, headers=head.
python-request-抓取百度-乱码
python的神奇之旅
09-04 1311
抓取百度的页面返回乱码，解决方式： res = requests.get(text) res.encoding = 'utf-8'
java爬取百度等搜索引擎时加载慢及中文乱码等问题
qq_48329942的博客
08-04 661
项目场景： 最近项目种需要我去搜索引擎上按需求搜索网页并将其内容爬取出来，在爬取过程生成html文件时遇到一些问题，现在记录下来 问题描述： 1.爬取到部分页面加载速度满，或者不能加载出来； 2. 一些页面出现中文乱码 注：此次用到的技术包括webmagic,jsoup等页面抓取技术，webmagic通过Spider将目标url添加，并且复写process方法，参数为目标url的page，在这个方法里，可以通过xpath来获取各个节点的信息，我是通过这个方法将百度搜索的列表种的herf链接获取到，并将这
python爬取的网页出现乱码
10-17
出现乱码的原因可能是网页编码与你所使用的编码不一致，可以尝试使用 chardet 库来自动检测网页编码，然后再使用相应的编码进行解码。具体操作可以参考以下代码： ```python import requests import chardet url = 'http://www.example.com' response = requests.get(url) encoding = chardet.detect(response.content)['encoding'] html = response.content.decode(encoding) ``` 其中，`chardet.detect(response.content)['encoding']` 用于检测网页编码，`response.content.decode(encoding)` 用于解码网页内容。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一只迷人的坩埚

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值