scrapy包含中文字符的字段写入csv时，报错无法解析某字符

最新推荐文章于 2022-07-11 07:38:00 发布
最新推荐文章于 2022-07-11 07:38:00 发布
阅读量356 收藏
点赞数
分类专栏： scrapy Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bxprog/article/details/80873644
版权

现象：
向csv文件（已经设为utf-8格式）写入标题行时，当其中有字段包含中文字符时，报错无法解析某字符

原因：
该python代码文件是DOS格式，不是utf-8格式

解决方法：
该代码文件另存为utf-8格式

bxprog
关注
专栏目录
成功解决keras库中出现AttributeError: ‘str‘ object has no attribute ‘decode‘
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
12-07 3343
成功解决keras库中出现AttributeError: 'str' object has no attribute 'decode' 目录 解决问题 解决思路 解决方法 解决问题 AttributeError: 'str' object has no attribute 'decode' 解决思路 “str”对象没有“decode”属性 解决方法 本bug出现在keras保存或调用h5模型/hdf5模型的时候，因为本身h5文件没有
scrapy抓中文，保存csv文件乱码解决方法
weixin_30522095的博客
04-30 446
保存json和txt文件，出现这种东西不是乱码，是unicode，例如： \u96a8\u6642\u66f4\u65b0> \u25a0\u25a0\u25a 　　 在settings.py文件中加入下面一句code，之后就是中文了。 FEED_EXPORT_ENCODING ='utf-8' 　　 保存csv表格文件时，会出现中文乱码，这个确...
解决AttributeError: ‘str‘ object has no attribute ‘get‘
热门推荐
空山新雨后，天气晚来秋
09-05 6万+
解决python问题AttributeError: ‘str‘ object has no attribute ‘get‘
python writerow函数_python - AttributeError：尝试使用writerow时，“ str”对象没有属性“ keys” - 堆栈内存溢出...
weixin_39695374的博客
12-06 1969
试图编写一个Python抓取工具，将网页中的数据抓取到CSV文件中如果我删除了行dataFrameCleaned = cleanDataUp(dataFrame)csvData(dataFrameCleaned)，也尝试改变我编写python文件的方式，代码会运行，但是它不会将数据写入csv文件'''write data to csv'''def csvData(dataFrame):with o...
python 读取json 写入csv_python 将json格式的数据写入csv格式的文件中
weixin_39824834的博客
12-19 2515
# coding=utf-8import jsonimport csv# 重新进行配置读写数据时的默认编码import sysreload(sys)sys.setdefaultencoding('utf-8')def json_to_csv():# 1.读取json文件的数据json_file = open('5Tencent.json', 'r')# 2. csv的写入文件对象csv_file ...
Scrapy爬取贝壳网并存入csv
Galaxy__42的博客
03-05 2045
一、分析目标站点 本文以爬取宁波地区的房产信息为例 1、宁波整个市页面 宁波地区的网址都是以上面的格式，再加上各个区的拼音，即可进入各个区的网页。 各个区的名称： areas = {'海曙区': 'haishuqu1', '江北区': 'jiangbeiqu1', '镇海区': 'zhenhaiqu1', '北仑区': 'beilunqu1', ...
scrapy 自定义管道保存图片、json、csv文件格式以及MySQL
weixin_42657103的博客
08-13 2395
在上一篇博客中，简单的介绍了系统自带的管道保存方法，今天来讲一下如何用自定义的管道来保存文件以及图片。 1.保存图片： 开始的步骤，保持不变，成功获取数据后，进入到pipeline.py里面，引入 from scrapy.pipelines.images import ImagesPipeline, 并且继承 ImagesPipeline （如下图）： import scrapy # Im...
使用Scrapy爬虫框架爬取books.toscrape.com上书籍的相关信息并存储为csv文件
Giyn
02-28 3420
此处准备使用Scrapy爬虫框架对 http://books.toscrape.com/（一个专门用来被爬取的网站）上书籍的相关信息进行爬取。 相关信息包括：书名、价格、评价等级、产品编码、库存量、评价数量。 首先我们分析一下网页页面： 这里补充一下，分析网页页面虽然可以直接进入网页，然后F12打开开发者工具进行分析。 但通常现在的浏览器都会对html文本进行一定的规范化, 所以在使用Chro...
scrapy 教程
墨鱼菜鸡
07-11 379
------------------------------------------------------------------------------------------ scrapy中文文档 和 scrapy 英文文档参照看。因为中文文档比较老，英文文档是最新的。 scrapy 英文文档：https://doc.scrapy.org/en/...
python 常用文件读写及with的用法
抱剑观花的博客
07-30 8009
一  CSV文件      csv是逗号分隔值文件格式，一般用WORDPAD或记事本(NOTE),EXCEL打开。csv(逗号分隔值)是一种用来存储数据的纯文本文件，通常都是用于存放电子表格或数据的一种文件格式。这种格式的数据通常应用在数据处理方面，比如我们爬虫的数据量较小，不用插入数据库，或者只是临时测试，那么可以把数据存放在.csv文件中，很是方便。下面我们结合pythonCSV模块的源码讲...
python使用writerow写入csv文件，字符串被分割成一个字符占一个单元格
zy_naileux的博客
08-08 1万+
问题： w.writerow("abcdef") 结果：会一个字符占一个单元格 解决办法：加[] w.writerow(["abcdef"]) 输出正常：
python 把列表存入 .csv 文件中出现空行，writer.writerow(row) TypeError: a bytes-like object is required, not 'str
IT小白的博客
03-10 4924
1.学习环境 windows10 、Anaconda(向初学者推荐这个工具) 中的IDE工具Spyder 、python 3.7。 2. 解决问题方法 output = open('Tresult123.csv', 'wb') 首先，把 ‘wb' 后面的的 ' b '去掉，去掉之后writer.writerow(row) TypeError...
利用scrapy框架爬去得到数据但是无法写入文件的问题
qq_38585359的博客
07-28 5906
在爬取当当网书籍信息的时候，我想把数据写入文件和数据库啊，但是那些数据都能显示在命令行中但是无法写入文件和数据库中，后来发现是在settings.py中没有将Pipeline打开，即如下图所示： 这里把ITEM_PIPELINES这个字典的注释去掉之后才可以运行pipelines.py这个文件，之后就可以利用pipelines.py中的函数写入数据库和文件了...
scrapy抓取的中文结果乱码解决办法
迪迦 • 奥特曼
11-06 2792
使用scrapy抓取的结果，中文默认是Unicode,无法显示中文。 中文默认是Unicode,如: \u5317\u4eac\u5927\u5b66 在setting文件中设置： FEED_EXPORT_ENCODING = 'utf-8'
scrapy怎么讲内容写入csv
最新发布
05-26
使用 Scrapy 将内容写入 CSV 文件非常简单。在 Scrapy 中，你可以使用 CSV 导出器来将数据输出到 CSV 文件中。 首先，需要在你的项目的 `settings.py` 文件中启用 CSV 导出器。在 `settings.py` 文件末尾添加以下代码： ```python FEED_FORMAT = "csv" FEED_URI = "output.csv" ``` 上述代码会将输出格式设置为 CSV，并将输出文件命名为 `output.csv`。 接下来，在你的 Spider 中，你需要定义要写入 CSV 文件的数据。假设你的 Spider 输出一个包含电影名称、导演和评分的字典列表，你可以使用以下代码将其写入 CSV 文件中： ```python import scrapy class MySpider(scrapy.Spider): name = "example.com" start_urls = [ "http://www.example.com/1.html", "http://www.example.com/2.html", "http://www.example.com/3.html", ] def parse(self, response): # 解析电影数据 movie_data = [ {"name": "The Shawshank Redemption", "director": "Frank Darabont", "rating": 9.3}, {"name": "The Godfather", "director": "Francis Ford Coppola", "rating": 9.2}, {"name": "The Dark Knight", "director": "Christopher Nolan", "rating": 9.0}, ] # 写入 CSV 文件 for movie in movie_data: yield movie ``` 在上面的代码中，我们定义了一个包含电影数据的列表 `movie_data`，然后遍历该列表并使用 `yield` 关键字将每个电影写入 CSV 文件中。 当你运行 Spider 时，Scrapy 会自动将数据写入 CSV 文件 `output.csv` 中。如果你希望将数据写入不同的文件中，可以在 Spider 中使用 `FEED_URI` 参数来指定输出文件的路径和名称。例如： ```python import scrapy class MySpider(scrapy.Spider): name = "example.com" start_urls = [ "http://www.example.com/1.html", "http://www.example.com/2.html", "http://www.example.com/3.html", ] custom_settings = { "FEED_FORMAT": "csv", "FEED_URI": "movies.csv" } def parse(self, response): # 解析电影数据 movie_data = [ {"name": "The Shawshank Redemption", "director": "Frank Darabont", "rating": 9.3}, {"name": "The Godfather", "director": "Francis Ford Coppola", "rating": 9.2}, {"name": "The Dark Knight", "director": "Christopher Nolan", "rating": 9.0}, ] # 写入 CSV 文件 for movie in movie_data: yield movie ``` 上述代码中，我们使用 `custom_settings` 属性来定义 CSV 导出器的输出格式和文件路径，并将其设置为 `movies.csv`。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值