你的Scrapy保存CSV数据遇到乱码问题？这里有个完美的解决方案！

已于 2023-05-21 09:45:40 修改
阅读量2.9k 收藏 13
点赞数 13
分类专栏： # Scrapy 文章标签： python 爬虫
于 2022-05-03 23:12:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45844767/article/details/124562587
版权

文章目录

一、出现的bug

使用scrapy框架爬取数据，保存到csv文件中，并通过excel文件打开出现乱码

在这里插入图片描述
在这里插入图片描述

二、解决方法

(1)方法一：settings.py设置编码格式，后爬取数据

FEED_EXPORT_ENCODING = “utf-8-sig”
FEED_EXPORT_ENCODING = “gbk”
(二选一)

在这里插入图片描述
在这里插入图片描述
（2）方法二：对csv乱码进行处理

（1）通过记事本打开csv文件
（2）选择“另存为”
（3）修改编码格式：将utf-8改为ANSI
（4）确认另存
（5）通过excel重新打开csv文件

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  • 写在最后：有任何代码问题，欢迎交流~
去有风的地方呀
关注
  • 13
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
2024年最全Python使用Scrapy框架爬取数据存入CSV文件_python scrapy保存csv
2401_84584831的博客
05-01 1143
注意事项：scrapy和twisted存在兼容性问题，如果安装twisted版本过高，运行scrapy startproject project_name的时候会提示报错，安装twisted==13.1.0即可。
利用python爬取豆瓣音乐TOP250的数据----最终结果生成一个music.csv文件
08-24
利用python爬取豆瓣音乐TOP250的数据----最终结果生成一个music.csv文件，里面包含247首歌曲的名称作者发行。如果有按照代码就不会出现空行和乱码的现象。
Windows10 Excel 如.csv文件编码问题转为 UTF-8 编码方法，解决中文乱码问题（如MongoDB导入 CSV 文件中文乱码问题）、解决科学计数显示问题
热门推荐
Muxiu
04-07 3万+
有点点击 excel 文件，然后选择打开方式，选择使用 Excel 2016 软件打开选择 工具 ——> Web 选项这里选择 UTF-8 编码。
使用Scrapy爬取数据并保存为json、csv文件及乱码解决
sqitarn的博客
06-29 4331
安装scrapy pip install scrapy 创建porject scrapy startporject tutorial 执行成功后在目录下生产tutorial文件夹，结构目录如下： 3. 在items.py中定义自己要抓取的数据： #定义爬取对象属性 class ListItem(scrapy.Item): name = scrapy.Field() url = scrapy.Field() order = scrapy.Field() score.
java csv文件导出UTF-8乱码解决方案
m0_37310224的博客
02-13 2281
【代码】java csv文件导出UTF-8乱码解决方案。
利用Scrapy框架爬取数据使用pipelines保存成csv出现乱码的解决办法
Miracle.Zhao的博客
04-03 952
之前写了一篇关于使用命令行来执行scrapy代码保存csv文件出现乱码的解决办法，但是我把保存csv的文件代码写到pipelines里的时候，原来的设置（在创建项目的settings.py中，添加如下代码FEED_EXPORT_ENCODING = 'gb18030'）就会出现错误，也就是说，不同的保存方法，设置方式要变化。 我的代码如下： 网上很多的解决办法，例如在seting.py里...
Scrapy_pipelines管道文件详细教程保存csv,Mysql,Mongodb以及多个item返回pipelines的处理
最新发布
m0_73689941的博客
11-14 1048
Scrapy_pipelines文件详细教程保存到csv,Mysql,Mongodb以及多个item返回pipelines的处理
MySQL Workbench用csv格式导出数据中文乱码解决方案
weixin_41789356的博客
05-13 1960
在使用MySQL Workbench用csv格式导出数据时出现乱码，中文无法识别。Google后，发现问题在于编码格式有问题。解决方法如下： 在select窗口下面，正常保存文件按，导出格式为.csv文件 这时文件为utf-8编码，用excel打开，乱码。 先把.csv以文本方式打开，会看到里面没有乱码，是正常中文汉字。 然后在文本编辑器里面选择另存为，编码选择ansi编码，文件类型上选择所有类型，点击保存按钮，再直接覆盖原来的.csv文件。 然后打开新的.csv文件，正常显示中文字符了
基于Scrapy的电商数据分析系统设计与实现.zip
10-27
在本项目中，我们主要探讨如何利用Python的Scrapy框架构建一个电商数据分析系统。Scrapy是一个强大的、专门用于网络爬虫开发的开源框架，适用于快速提取结构化数据，尤其适合大规模的数据抓取任务。以下是对这个系统...
根据网上爬的公司数据进行聚类
09-03
3. **数据集成**：从多个CSV文件（如20191209008爱企网441.csv、1.csv、11.csv等）中提取数据后，需要将它们整合成一个统一的数据集。这可以通过Pandas的`concat`或`merge`函数来实现。 4. **特征选择**：在聚类...
housePrice:使用scrapy和pyecharts制作成都房价地图
05-08
housePrice使用scrapy，selenium，echarts和pyecharts制作成都房价地图scrapy爬虫：爬取成都链家的楼盘信息运行方法：第一种：在terminal下，进入scrapy.cfg所在的根目录，输入"scrapy crawl lianjia"开始爬取。...
Scrapy爬虫系列及实战项目教程（FBP内部学习，禁止传播）1
08-08
- `FEED_EXPORT_ENCODING`：设置导出文件的编码，解决中文乱码问题。 - `user_agent`：设置模拟的浏览器标识，避免被目标网站识别为爬虫。 - `FEED_URI`, `FEED_FORMAT`和`FEED_EXPORTERS`：配置数据导出的路径、...
PLSQL导出CSV格式后中文为乱码的解决方法
Gunther10033的博客
04-14 9752
1.选中导出的CSV文件，右键--记事本打开，可以发现原本乱码的文字已经正常了。 2.在记事本中点击文件--另存为，将文件另存为CSV格式，这时在打开CSV文件就会发现乱码的文字显示正常。
使用Scrapy命令行工具【导出JSON文件】时编码设置
aimianwo1708的博客
06-30 163
Windows 10家庭中文版，Python 3.6.4，virtualenv 16.0.0，Scrapy 1.5.0， 使用scrapy命令行工具建立了爬虫项目（startproject），并使用scrapy genspider建立了爬虫，用于抓取某中文门户网站首页的新闻标题及其链接，全程都在虚拟环境（virtualenv）中执行。 使用scrapy crawl执行爬虫程序...
导出csv文件中文乱码问题
wangfei111g的博客
11-12 2万+
编码相关基础： 参考http://blog.csdn.net/youyue/article/details/4580402 http://blog.163.com/asd_wll/blog/static/21031040201361043947625/ 首先获取的中文字符是从内存数据库获取的，是一直存储在内存中的，所以是unicode编码，然后输出到csv文件时，默认是采用系统的编码
scrapy生成csv文件空行、csv文件打开乱码（解决方案）
wangchaoqi1985的博客
08-25 178
scrapy生成csv文件空行、csv文件打开乱码（解决方案）
scrapy中修改爬取数据的输出编码为utf-8
fuck487的博客
06-05 9806
本人是scrapy1.5版本在scrapy的settings.py文件中添加如下设置# 修改编码为utf-8 FEED_EXPORT_ENCODING = 'utf-8'旧的版本可能不行
python生成csv中文乱码的问题
渣渣
01-16 1万+
一、前言 在Linux下面用python进行数据处理，然后输出为csv格式，如果没有中文一切正常，但是如果有中文，就会出现乱码的问题,本篇将讲述怎么处理这个问题 二、处理过程 原始代码 #!/usr/bin/env python # -*- coding: UTF-8 -*- import csv #import codecs with open('test
scrapy保存csv
03-30
在Scrapy中，你可以使用以下步骤将数据保存到CSV文件中： 1. 在项目的settings.py文件中添加以下代码以启用CSV输出： ```python FEED_FORMAT = 'csv' FEED_URI = 'output.csv' ``` 其中，FEED_FORMAT指定了输出格式为CSV，FEED_URI指定了输出文件的路径和名称。 2. 在Spider中定义item并将其导出到CSV文件中。例如，假设你有一个Spider，它从网站中提取了书籍的信息。你可以在Spider中定义一个item，然后将其导出到CSV文件中。以下是一个示例： ```python import scrapy from scrapy.loader import ItemLoader from scrapy.item import Item, Field class BookItem(Item): title = Field() author = Field() price = Field() class BooksSpider(scrapy.Spider): name = "books" start_urls = [ 'http://books.toscrape.com/catalogue/category/books/science_22/index.html' ] def parse(self, response): for book in response.css('article.product_pod'): loader = ItemLoader(item=BookItem(), selector=book) loader.add_css('title', 'h3 a::attr(title)') loader.add_css('author', 'a::attr(href)') loader.add_css('price', 'p.price_color::text') yield loader.load_item() ``` 在这个示例中，我们定义了一个BookItem类，它有三个属性：title，author和price。在Spider中，我们使用ItemLoader加载器将每个书籍的信息加载到BookItem对象中，然后使用yield语句将其输出到CSV文件中。 3. 运行Spider并查看CSV文件。运行以下命令来启动Spider： ``` scrapy crawl books ``` 当Spider运行时，它会将提取到的数据输出到CSV文件中。你可以打开output.csv文件来查看结果。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值