python中open函数的encoding参数utf-8未生效解决办法

解决网页抓取乱码问题

最新推荐文章于 2022-01-22 22:12:16 发布

原创最新推荐文章于 2022-01-22 22:12:16 发布 · 4.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文介绍了一种常见的网页抓取过程中遇到的字符编码问题及解决方案。通过使用Python的requests库获取网页内容，并调整文件写入时的编码格式从utf-8到UTF-8，成功解决了生成文件出现乱码的问题。

解决办法

import requests
url='https://www.baidu.com/s?wd=ip'
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36'}
page_text=requests.get(url=url,headers=headers).text

with open('ip.html','w',encoding='utf-8') as fp:
    fp.write(page_text)

但是生成的ip.html却产生了乱码
讲enconding中改成如下

with open('ip.html','w',encoding='UTF-8') as fp:
    fp.write(page_text)

讲utf-8变成UTF-8

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

最好的年纪与你相遇

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

《Python基础教程》内容总览篇（持续更新中）

weixin_43178406的博客

08-26

31万+

大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。个人精心开设的《Python基础课程》专栏订阅量接近900，帮助不少同学解决了Bug。

python代码学习——python文件处理及路径处理

叶子的博客

10-29

3378

python代码学习——python文件处理路径处理目录的操作路径处理 1.python中处理路径，有一个专门的OS模块，所以要导入OS模块才能进行路径处理 2.路径都是由文件夹的名字组成的，例如： “E:\BaiduNetdiskDownload\Study\python12_202001\python12_path&file\python_path.py” 目录的操作 1.mkdir...

2 条评论您还未登录，请先登录后发表或查看评论

python中文件读写位置的作用-文件操作，读，写，指定位置

weixin_37988176的博客

11-01

1510

[python]代码库#文件操作 open（）#open("路径 + 文件名",”读写模式")f=open('filepath','w')#读写模式：# r只读,r+读写,w新建(会覆盖原有文件),a追加,b二进制文件#常用读写模式#如:'rb','wb','r+b'等等#读写模式的类型有：#rU 或 Ua 以读方式打开, 同时提供通用换行符支持 (PEP 278)#...

python 乱码无效_python写入csv中文乱码问题，encoding=’utf-8’无效还是乱码——吕江民·日常随笔...

weixin_26905423的博客

02-19

1640

今天在处理python写入csv中文乱码问题，尝试各种办法，百思不得其解，网上找到的最常用的办法就是1. encoding=’utf-8’：无效with open('data4.csv', 'a', encoding='utf-8', newline='') as csvfile:fieldnames = (['id', 'name', 'age'])writer = csv.DictWriter...

Python读入中文记得要encoding=“utf-8“

kewei chen

01-22

1万+

用python将中文／汉字写入文本文档或者从文本文档读取中文信息经常有同学碰到通过python无法将汉字信息写入文本，或者无法读取文本里的汉字信息的情况，读取结果为乱码，下面用一种简单的方式解决这个问题。写入文本文档： import os s='Hello World\n文本文件的中文信息读取\n文本文件中文信息的写入\n' f=open('test1.txt','a+',encoding="utf-8") #test1是已经存在于当前目录下的文档 f.write(s) f.close 读取文本

python的open()函数中encoding参数的问题

qq_42804736的博客

04-26

4万+

** python的open()函数中encoding参数的问题 ** 最近在用python打开文本文件进行词频统计时遇到一个问题 txt = open("threekingdoms.txt", "r", encoding ='utf-8').read() 运行后会出现UnicodeDecodeError异常原因是在记事本编写的文本保存的默认类型都是不是UTF-8编码当然会报错啦，有两种...

python open函数encoding_python 读不同编码的文本，传递一个可选的encoding 参数给open() 函数...

weixin_39642761的博客

11-24

898

文件的读写操作默认使用系统编码，可以通过调用sys.getdefaultencoding() 来得到。在大多数机器上面都是utf-8 编码。如果你已经知道你要读写的文本是其他编码方式，那么可以通过传递一个可选的encoding 参数给open() 函数。如下所示：with open('somefile.txt', 'rt', encoding='latin-1') as f:...Python 支...

Python open函数详解

最新发布

10-25

'utf-8' codec can't decode byte 0xd3 in position 0: invalid continuation byte为什么

03-30

with open('test_file.txt', 'r', encoding='utf-8') as f: content = f.read() print(content) ``` 若仍报错，则可能是目标文件本身并非严格遵循 UTF-8 标准。 #### 方法三：修正特定代码中的异常处理逻辑 ...

【Dev-C++编码与国际化】：UTF-8编码在国际化项目中的应用和优势

[【Dev-C++编码与国际化】：UTF-8编码在国际化项目中的应用和优势](http://portail.lyc-la-martiniere-diderot.ac-lyon.fr/srv1/res/ex_codage_utf8.png) # 1. Dev-C++编码与国际化概述在本章中，我们将讨论Dev-...

python打开csv文件乱码_解决Python2.7读写文件中的中文乱码问题

weixin_39644377的博客

11-24

825

Python2.7对于中文编码的问题处理的并不好，这几天在爬数据的时候经常会遇到中文的编码问题。但是本人对编码原理不了解，也没时间深究其中的原理。在此仅从应用的角度做一下总结，1.设置默认编码在Python代码中的任何地方出现中文，编译时都会报错，这时可以在代码的首行添加相应说明,明确utf-8编码格式，可以解决一般情况下的中文报错。当然，编程中遇到具体问题还需具体分析啦。#encoding:ut...

Python 文件操作中的读写模式:open(path, ‘-模式-‘,encoding=‘UTF-8‘)+python读写文件txt +文本数据预处理

古月哲亭

07-06

7932

python读写txt文件文件的打开的两种方式 f = open("data.txt","r") #设置文件对象 f.close() #关闭文件 #为了方便，避免忘记close掉这个文件对象，可以用下面这种方式替代 with open('data.txt',"r") as f: #设置文件对象 str = f.read() #可以是随便对文件的操作一、读文件 1.简单的将文件读取到字符串中 f = open("data.txt","r") #设置文件对

python open encoding_Python文件操作

weixin_39818014的博客

11-25

3772

回顾在Python进阶记录之基础篇(二十一)中，我们介绍了Python中的语法错误和异常以及对异常的处理方法，需要重点掌握语法错误和异常的基本概念，熟练掌握“try...except...finally”的用法。今天我们讲一下Python中的文件读写。操作文本文件和大多数编程语言一样，Python也有文件系统，可用于文件的基本操作。下面我们介绍一下Python中如何打开、读取、写入、关闭文件。打开...

python open函数参数_探究python中open函数的使用

weixin_39797693的博客

11-20

651

最近，开始学习python的开发，遇到了一点文件操作的问题，探究一下open函数的使用。一、open()的函数原型open(file, mode=‘r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True)从官方文档中我们可以看到open函数有很多的参数，我们常用的是file，mode和encoding，对于其...

Python 文件操作中的读写模式:open(path, '-模式-',encoding='UTF-8')

热门推荐

大泡泡的专栏

03-03

8万+

open(path, ‘-模式-‘,encoding=’UTF-8’) 即open(路径+文件名, 读写模式, 编码)在python对文件进行读写操作的时候，常常涉及到“读写模式”，整理了一下常见的几种模式，如下：读写模式：r ：只读 r+ : 读写 w ：新建（会对原有文件进行覆盖） a ：追加 b ：二进制文件常用的模式有：“a” 以“追加”模式打开， (从 EO

python open读取_Python：open的文件读取操作，utf-8，UnicodeDecodeError

weixin_40005542的博客

11-24

4498

简要目录：open函数将文件设置为utf-8编码格式UnicodeDecodeErrorf.read() 和 f.read(size)f.readline() 和 f.readlines()f.tell()：返回文件指针的位置，注意换行符f.writelines() 和 f.write()f.seek()：设置文件指针的位置 —— f.seek(偏移量,[起始位置])文件指针with open：可...

python文本解析_用Python解析文本

weixin_39692761的博客

11-21

1647

本篇主要介绍一下如何读写plain text文件，简单理解就是纯文本文件，经过字符编码形成的文档，用一些文本编辑器如UE、记事本可以打开的文件。区别于一些有特定结构的文件，比如word文档、Excel文件、图片文件等等，他们必须借助专门的软件才能打开，没有任何可读性的二进制编码文件。大家日常其实非常多的时间是与文本打交道的，比如设备配置、各类日志。一般是用一些ue全局搜索，有时候这些工作特别枯燥、...

python打开文件_Python 基础（十二）：文件基本操作

weixin_39589766的博客

10-22

260

1 简介在编程工作中文件操作还是比较常见的，基本文件操作包括：创建、读、写、关闭等，Python 中内置了一些文件操作函数，我们使用 Python 操作文件还是很方便的。2 基本操作2.1 创建Python 使用 open() 函数创建或打开文件，语法格式如下所示：open参数说明如下所示：file：表示将要打开的文件的路径，也可以是要被封装的整数类型文件描述符。mode：是一个可选字符串，用于指...

python打开文件_零基础小白python入门——深入Python中的文件操作 - python阿喵

weixin_40009026的博客

11-10

335

任何语言都离不开对文件的操作，那么Python语言是如何来操作和管理文件的。编码方式编码方式的历史大致为ASCII ->gb2312->unicode->utf-8，期间具体详细信息可以百度来个编码解码的小例子先，记住中文可以进行GBK和utf-8编码，在GBk一个中文字符对应两个字节，在utf-8一个中文字符对应三个字节，中文不能进行ASCII编码。如果大家在学习中遇到困难，...

A*算法openclose表

12-29

### A*算法中的Open表和Close表 #### Open表的作用及实现在A*算法中，Open表用于存储待评估节点列表。每当遇到一个新的节点或需要重新考虑已知节点时，该节点会被加入到Open表中。对于每个节点，计算其代价函数\( F(n)=G(n)+H(n) \)，其中： - \( G(n) \)表示从起始节点到达当前节点的实际成本； - \( H(n) \)则是估计的剩余距离。通过比较这些值来决定下一个要探索的最佳候选者[^2]。为了高效管理这个优先级队列，通常采用二叉堆数据结构来实现实现Open表的功能，在这种情况下插入新元素的时间复杂度为O(log n)。 ```cpp // C++代码片段展示如何初始化并操作open list作为binary heap struct Node { int f, g, h; }; std::vector<Node> openList; // 使用STL vector模拟heap行为 void push(Node node){ openList.push_back(node); std::push_heap(openList.begin(), openList.end()); } Node pop(){ std::pop_heap(openList.begin(), openList.end()); Node top = openList.back(); openList.pop_back(); return top; } ``` #### Close表的作用及实现另一方面，Close表则用来记录已经处理过的节点集合。当某个节点被选作下一步扩展对象之后就会立即移入Closed List之中；这有助于防止重复访问相同位置造成不必要的运算浪费，并确保每条可能路径只被考察一次[^1]。一般来讲，可以通过简单的哈希表或者布尔数组形式来进行标记，以快速查找特定坐标是否已经被关闭过。 ```cpp // 假设地图大小固定为MAX_SIZE x MAX_SIZE bool closed[MAX_SIZE][MAX_SIZE]; if (!closed[x][y]){ // 如果(x,y)不在close table里，则继续处理... closed[x][y]=true;// 将当前位置设置为已访问状态 }else{ continue; // 跳过已被处理的位置 } ```