Pycharm scrapy框架爬取gbk编码方式的网站数据写入txt文件乱码

已于 2024-03-15 23:23:03 修改
阅读量238 收藏
点赞数 1
文章标签： pycharm scrapy
于 2024-03-15 22:29:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/captain_thomas_l/article/details/136751572
版权
文章讲述了PyCharm中默认字符集可能导致文件乱码的问题，指出使用`withopen(file,w,encoding=utf-8)`指定UTF-8编码可以避免此问题。
摘要由CSDN通过智能技术生成

这是因为pycharm默认字符集是UTF-8，with open若不指定字符集，会保持原来的编码方式。在pycharm中查看该txt文件会乱码，用记事本打开不会

with open(file,'w') as f:
    f.write(file)

解决办法：写入时指定字符集为UTF-8即可

with open(file,'w',encoding='utf-8') as f:
    f.write(file)

Captain_Thomas_L
关注
《Python基础教程》内容总览篇（持续更新中）
weixin_43178406的博客
08-26 21万+
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。个人精心开设的《Python基础课程》专栏订阅量接近900，帮助不少同学解决了Bug。
scrapy解析网页时，针对一些特别格式的数据的处理
Kosmoo的博客
12-07 7357
scrapy解析网页时，针对一些特别格式的数据的处理1. 环境 python 3.6.1 系统：win7 IDE：pycharm scrapy框架 2. 页面源代码中含有json数据2.1. 案例 参考页面： https://www.amazon.com/Best-Sellers-Sports-Outdoors-Hunting-Shooting-Safety-Glasses/zgbs/sporti
python-scrapy框架爬取以“GBK”编码的网页
zy的博客
02-18 1237
网页编码方式的查看方法 scrapy框架爬取以“GBK”编码的网页
Python用Scrapy爬虫报错UnicodeEncodeError: 'gbk' codec can't encode character '\u2022' ，解决方案
u013155359的博客
08-10 1万+
错误：UnicodeEncodeError: 'gbk' codec can't encode character '\u2022' in position 7: illegal multibyte sequence 解决：import io import sys sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encodin...
Scrapy爬虫之中文乱码问题
自封的羽球大佬
08-28 9693
问题描述： I. #这是.csv格式的文件，有中文乱码现象。 [root@Uu jianshu]# cat jianshu.csv url,title,author http://www.jianshu.com/p/2a7a594816e1,彖浣犳 村?鏍? [root@Uu jianshu]# ...
Scrapy使用过程中的中文乱码问题
looseScript
06-30 1万+
在使用scrapy抓取微博的话题时，抓取到了一个中文字段（用变量a表示），无论使用何种编码方式都无法正确显示，如下所示： 查看a的编码后，确认是unicode编码，具体值如下所示： 直接print a结果为乱码，将a encode之后，结果仍未乱码： 并且我们发现a.encode('utf-8')之后，字节序列的值都发生了变化，直观上感觉应该不能回复成原来的中文了。经
scrapy的Response和Selector编码格式介绍
cxc_17的博客
06-16 9636
一、response介绍当spider发出请求之后会返回response。response是一个类，其中包括一些内置的属性。body body是response返回的内容，它的类型是str，所以body的内容编码类型是爬取页面的原类型。 例如网页的编码类型是GBK，那么body也是GBK的。 如果需要把body转换成Unicode，可以做以下处理： response.body.decode(re
【文本数据清洗】：打造高质量数据集的终极指南
有效的文本数据清洗不仅能提升数据质量，还能优化数据驱动的决策过程。本章将带你走进文本数据清洗的世界，从其基本概念开始，理解为何进行预处理以及常用的清洗方法。我们将详细探讨数据清洗的重要性，并强调其在...
爬虫知识库详解和案例实操
最新发布
longhaierwd的博客
07-15 1209
request是最基本的HTTP请求模块，可以模拟请求的发送，其过程与在浏览器中输入网址1然后回车一样，只要给库方法传入URL以及额外的参数，就可以模拟实现发送请求的过程。requests中的get(),post(),put(),delete(),patch()方法可以实现GET,POST,PUT,DELETE,PATCH请求。logging 模块是 Python 内置的标准模块，主要用于输出运行日志，可以设置输出日志的等级、日志保存路径、日志文件回滚等；
2018/01/22 爬虫日记
kelvin
01-22 1855
20171024 ①导入自定义的模块（如类），需要在当前类作导入类的引用声明，如self.tool = tool.Tool() 20171025 ①正则表达式:两个之间匹配不到的时候需要考虑换行符的存在，加上.*？即可。 ②注意每行代码的缩进。 ③中文编码问题：decode('utf-8')  decode（'gbk'） ④文件读写：file=open(文件名，打开格式
当scrapy遇见了gbk
yuhui_2000的博客
10-10 496
Traceback (most recent call last): File "e:\python\installation\lib\site-packages\scrapy\robotstxt.py", line 16, in decode_robotstxt robotstxt_body = robotstxt_body.decode('utf-8') UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd5 in position.
scrapy Unicode 编码 转 gbk或者其他
bingo_boy的专栏
12-03 1793
我抓出来也是uUnicode 形式的，我转码是用piplines这个  def __init__(self):  self.file = codecs.open('items.json', 'w', encoding='utf-8')  def process_item(self, item, spider):  line = json.dumps(dict(item)) + "\
scrapy 编码格式
qq_42329466的博客
10-20 1528
response.body.decode(编码格式)------例： response.body.decode('utf8') decode的作用是解决中文编码问题
Python字符串的encode与decode研究心得——解决乱码问题
热门推荐
lxdcyh的专栏
03-23 8万+
为什么Python使用过程中会出现各式各样的乱码问题，明明是中文字符却显示成“/xe4/xb8/xad/xe6/x96/x87”的形式？为什么会报错“UnicodeEncodeError: ascii codec cant encode characters in position 0-1: ordinal not in range(128)”？本文就来研究一下这个问题。字符
scrapy下载的中文编码问题
qq343000700的博客
07-15 431
在setting文件中设置：FEED_EXPORT_ENCODING = 'utf-8'
python抓取gb2312/gbk编码网页乱码问题
junli_chen的博客
11-28 1万+
做了个网络爬虫抓取网页，但如果网页是gbk/gb2312编码，则会出现乱码问题，如下： 取得文字后，直接打印，输出结果str如下：¹óÖÝÈËÊ¿¼ÊÔÐÅÏ¢Íø_¹óÖÝÈËÊ¿¼ÊÔÍø_¹óÖݹ«ÎñÔ±¿¼ÊÔÍø_¹óÖÝÖй« 这个问题困扰我好长时间，baidu,google了一番也没有找到完全可行的方法，继续瞎折腾，最后居然搞出来了！编码转换来转换去的，还是得不
Scrapy爬虫,Python2将Unicode编码装换成UTF-8编码解决方法之一
路人甲的博客
04-20 7056
在爬取后的数据加上.encode('utf-8'),就可以转换了.
解决Win环境下，使用scrapy的gbk编码问题，UnicodeDecodeError: 'gbk' codec can't decode byte 0xab in position 220
Diriers的博客
09-11 855
由于编码问题导致,当框架读取网页的时候无法识别gbk编码产生报错，忽略即可。 在configparser.py 中修改。errors=”ignore” with open(filename, encoding=encoding,errors="ignore") as fp: by:diriers...
Scrapy框架中设置编码格式
dayun555的博客
03-01 5844
utf-8:全球通用编码ascii:能存储字母/数字/符号,美国专用gbk|gb2312|gb18030:能够存储汉字要生成经编码后的csv类型文件cmdline.execute(['scrapy', 'crawl', '爬虫文件名称', '-o', '文件名.csv', '-s', 'FEED_EXPORT_ENCODING="gb18030"'])例如：cmdline.execute(['sc...
用pycharm scrapy框架爬取https://www.shanghairanking.cn/institution校名、地区、管理部门、类别、双一流的内容并写入csv文件
06-10
这段代码将使用Scrapy框架爬取上海交通大学排名网站的内容，并将校名、地区、管理部门、类别、双一流写入CSV文件中。请确保您已经安装了Scrapy和csv模块，并将项目文件夹中的settings.py中的ROBOTSTXT_OBEY设置为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值