scrapy保存为csv文件 再将csv导入excel方法,及导入excel时出错:"自文本导入 包含的数据无法放置在一个工作表中"的坑

最新推荐文章于 2023-06-19 17:01:01 发布
最新推荐文章于 2023-06-19 17:01:01 发布
阅读量5.2k 收藏 3
点赞数 1
分类专栏： 爬虫 文章标签： Python scrapy 爬虫 csv excel
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42305814/article/details/81003836
版权
今天从拉勾网爬取职位信息准备作数据分析，因为想用Excel做数据可视化，遂决定将爬取信息保存为csv文件，再导入excel中。scrapy 自带的 exporters 类下的方法 CsvItemExporter 可以用来保存Item数据为csv文件。scrapy.exporters.CsvItemExporter使用方法参看官方文档： Item Exportersclass LgspiderPip...
摘要由CSDN通过智能技术生成

今天从拉勾网爬取职位信息准备作数据分析，因为想用Excel做数据可视化，遂决定将爬取信息保存为csv文件，再导入excel中。

scrapy 自带的 exporters 类下的方法 CsvItemExporter 可以用来保存Item数据为csv文件。

最低0.47元/天 解锁文章
我重来
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
使用scrapy框架爬取数据并存入excel表中
SmallSweets的博客
09-04 3543
爬取网址：http://sd.weather.com.cn/ 爬取目标：获得一个地区七天之内的天气状况,并存入excel表格中 代码部分 爬虫文件部分 import scrapy from ..items import TianqiyubaoItem class TianqiSpider(scrapy.Spider): name = 'tianqi' allowed_domains = ['weather.com.cn'] start_urls = ['http://www.w.
2024年最全Python使用Scrapy框架爬取数据存入CSV文件_python scrapy保存csv
最新发布
2401_84584831的博客
05-01 1134
注意事项：scrapy和twisted存在兼容性问题，如果安装twisted版本过高，运行scrapy startproject project_name的时候会提示报错，安装twisted==13.1.0即可。
excel导入csv数据出错：此文本文件包含的数据无法放置在一个工作表中。。。
热门推荐
jwyhappy的博客
08-16 2万+
从linux上取了一些数据回来，格式是csv，编码utf-8，准备读入Excel。 按照惯例，获取外部数据–自文本，然后一路操作下来结果如下图： 排除掉编码问题后，网上查了下，信息不多，有的说是格式问题，什么存在空行，换行符过多等等。。 删除无用空行、空格、换行符后还是不行。纳闷了，理一下思路，除了这些原因...
mac 上 csv导入Excel 出现 “此文本文件包含的数据无法放置在一个工作表” 错误
何曾走见的专栏
12-31 3792
0.首先确认你的csv文件不能太大，我也不知道行数上限是多少，但是我导入过150w的内容，没有成功... 1.编码问题，确认你csv的编码是utf-8，而且Excel导入的时候选择的也是utf-8 2.假如你导入的列中，存在文本列，比如第一列是存的标题之类的，那要保证标题里没有比较骚的字符，尤其是各种花样的换行符号。也就是文本列必须剔除换行字符 3.如果以上步骤都保证没问题，还是失败的话。。记住，把第一列改成数字列，第一列不能是文本 ...
关于csv文件导入excel出现“此文本文件包含的数据无法放置在一个工作表中。如要继续导入可容纳的数据，请单击确定。。。”的错误
chandelierds的博客
09-05 4637
https://blog.csdn.net/u010290051/article/details/84374098 https://blog.csdn.net/jwyhappy/article/details/81711369 参考链接里说的很清楚 csv默认的文件换行符号是"\n"（换行LF），而excel默认的文件换行符号是"\r"（回车CR） + “\n”（换行LF），所以csv文件里的数据对于excel来说是没有换行的，因此会因为列数过多导致报错，正确的做法是将csv文件用notepad打开，选择新
此文本文件包含的数据无法放在一个工作表中
swort_177的专栏
03-29 1万+
出错截图   问题的原因是数据量过多。EXCEL中一个表中可以容纳的数据量是65536行。      我这边问题是导出的文本中根本没有没有65536这么多的数据量。肯定是数据中存在了特殊的字符所导致的，检查下面的数据发现很多是空的。直接把数据表格填充完了。突然想起来上次我写的批量替换的SQL语句，把数据库中的多余的字符全部替换掉了，肯定是那里出问题了，赶紧把替换过来
详解scrapy爬取赶集网简历数据实现下一页并保存至csv文件详细入门实例
01-20
还有一个原因我觉得是最普遍的，就是我们做一个事情然后不断解决问题直到成功，然后就不去管它了，我们已经从中吸取了知识，再用博客写一遍呢白白浪费时间。 无论如何，今天我还是想发布一篇博客分享给大家，这篇...
python3使用scrapy生成csv文件代码示例
12-23
这段代码我保存在一个自建的.py文件中，然后在主文件中调用这个模块，这样就不用每次在cmd中敲命令了，大家可以使用这种方法我觉得很方便的。 进入正题（获取腾讯招聘网的信息http://hr.tencent.com/posi
Google2Csv：Google2Csv是一个简单的Google抓取工具，可将结果保存在csvxlsxjsonl文件中
02-03
Google2Csv是一个强大的工具，专为那些需要从Google搜索引擎中抓取数据并将其整理到结构化格式的人设计。这个工具的名称明确表明了它的主要功能：将搜索结果导出为CSV（逗号分隔值）、XLSX（Microsoft Excel的扩展名...
【Scrapy爬虫项目】爬取books.toscrape.com上书籍的相关信息并存储为csv文件
01-21
此处准备使用Scrapy爬虫框架对 http://books.toscrape.com/（一个专门用来被爬取的网站）上书籍的相关信息进行爬取。 相关信息包括：书名、价格、评价等级、库存量、产品编码、评价数量。 首先进行页面分析： 这里...
使用scrapy爬取房天下的房子信息，将数据导入数据库使用django搭建一个房子网站.zip
09-28
在这个项目中，我们将深入探讨如何使用Python的两个著名框架——Scrapy和Django，来实现一个从房产网站抓取信息并构建数据驱动的房地产网站的流程。Scrapy是一个强大的网络爬虫框架，而Django则是一个高效且灵活的...
Excel导入CSV文件
03-17
NULL 博文链接：https://hellosoft.iteye.com/blog/559700
csv导入excel中报错：此文本文件包含的数据无法放置在一个工作表
qq_41048831的博客
04-16 2948
解决连接：https://jingyan.baidu.com/article/73c3ce2845a23ae50343d936.html https://blog.csdn.net/jwyhappy/article/details/81711369
问题记录：从EXCEL2013导入数据CSV文件，提示报错“此文本文件包含的数据无法放置在一个工作表中。如要继续导入可容纳的数据，请单击确定。。。”
u010290051的博客
11-23 1万+
使用的工具是：MicrosoftOffice Excel 2013、Notepad++ v7.5.8 Spark数据处理任务生成了CSV格式的数据文件，然后要手动将CSV数据转换成excel文件，为了能识别分隔符自动分列以及中文不乱码：新建一个excel文件，然后在上方功能区选择“数据”-->“自文本”导入数据进excel文件，剩下的操作参考百度经验教程。然后提示报错“此文本文件包含的数据...
excel导入csv数据报错“此文本文件包含的数据无法放置在一个工作表中。”
weixin_59427585的博客
06-19 1595
Excel 数据 -->自文本 -->选择需要导入的csv文件（utf-8），选择分隔符及展示文本后，提示“此文本文件包含的数据无法放置在一个工作表中。替换后新创建一个notepad++文件，将替换后的内容复制到新建文件中，保存对应文件，再次使用Excle导入csv文件即可。原因：回车换行符导致 一个是 \n 一个是\r\n。
此文本文件包含的数据无法放置在一个工作表中 gb2312
weixin_34357962的博客
10-22 2027
excel导入csv，csv要从unicode转为gb2312, 否则提示：此文本文件包含的数据无法放置在一个工作表中　
MacOS系统从python输出的并保存的csv文件，用excel打开出现：此文本文件无法放置在一个工作表的问题
m0_47490870的博客
06-25 1121
问题描述： 我在使用python对数据进行分类时，把我需要的数据导出为csv格式，想用excel查看这些内容时，遇到了如下图的一个问题。 解决方案： 在网上查看了不少解决方案，发现问题的本质是因为，换行符的问题。在Mac中，换行符是LF，而在windows中，换行符是CRLF，而excel默认的换行符应该也是CRLF，所以只需要把我的csv文件的换行符改成CRLF就行。 我用的是VScode打开csv。 右下角有个换行符，图片上的是我已经改过的，点击一下会有CRLF和LF，改一下保存即可，之后在exce
scrapy入门学习初步探索之数据保存
weixin_30858241的博客
02-09 150
在上一篇文章中，谈及了如何使用scrapy取获取网页数据，可参考Scrapy入门学习之初步探索。在此继续谈一下数据保存和一些settings.py的配置。 文中会继续上文的豆瓣读书小项目，并新增一个爬取简书所有用户信息的爬虫小项目，文章力求能够讲清学习时所遇到的坑，所以略显冗长。如若您没有耐心，就别往下翻了O(∩_∩)O~ 环境申明： Python...
爬取豆瓣电影数据并保存至本地csv文件并将数据导入MySQL数据库
03-27
抱歉，作为AI语言模型，我无法执行爬虫操作和访问本地文件系统。但您可以参考以下步骤来完成该任务： 1. 安装Python的爬虫框架Scrapy和MySQL数据库连接库pymysql： ``` pip install scrapy pip install pymysql ``` 2. 创建一个Scrapy项目： ``` scrapy startproject douban_movie ``` 3. 编写爬虫代码。在douban_movie/spiders目录下创建一个名为douban_spider.py的文件，实现对豆瓣电影top250页面的爬取，并将结果保存至本地csv文件： ```python import scrapy import csv class DoubanSpider(scrapy.Spider): name = 'douban' start_urls = ['https://movie.douban.com/top250'] def parse(self, response): for movie in response.css('.item'): yield { 'title': movie.css('.title::text').get(), 'rating': movie.css('.rating_num::text').get(), 'comment': movie.css('.quote span::text').get() } next_page = response.css('.next a::attr(href)').get() if next_page is not None: yield response.follow(next_page, self.parse) # 保存至本地csv文件 with open('douban_movie.csv', mode='a', newline='', encoding='utf-8') as file: writer = csv.writer(file) for movie in response.css('.item'): writer.writerow([ movie.css('.title::text').get(), movie.css('.rating_num::text').get(), movie.css('.quote span::text').get() ]) ``` 4. 运行爬虫并将结果导入MySQL数据库。在douban_movie目录下创建一个名为mysql_pipeline.py的文件，实现将csv文件中的数据导入MySQL数据库： ```python import csv import pymysql class MysqlPipeline: def __init__(self): self.conn = pymysql.connect( host='localhost', port=3306, user='root', password='password', db='douban_movie', charset='utf8mb4' ) self.cursor = self.conn.cursor() def process_item(self, item, spider): self.cursor.execute( "INSERT INTO movie(title, rating, comment) VALUES (%s, %s, %s)", (item['title'], item['rating'], item['comment']) ) self.conn.commit() return item def close_spider(self, spider): self.cursor.close() self.conn.close() if __name__ == '__main__': with open('douban_movie.csv', mode='r', encoding='utf-8') as file: reader = csv.reader(file) next(reader) # 跳过表头 for row in reader: pipeline = MysqlPipeline() pipeline.process_item({ 'title': row[0], 'rating': row[1], 'comment': row[2] }, None) ``` 5. 运行爬虫并导入数据： ``` scrapy crawl douban python mysql_pipeline.py ``` 注意：在运行mysql_pipeline.py文件之前，需要先创建MySQL数据库和movie表。可以使用以下SQL语句： ``` CREATE DATABASE douban_movie CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; USE douban_movie; CREATE TABLE movie ( id INT(11) NOT NULL AUTO_INCREMENT, title VARCHAR(255) NOT NULL, rating FLOAT NOT NULL, comment VARCHAR(255), PRIMARY KEY (id) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci; ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值