Python爬虫写入excel数据内容不完整有空白行

最新推荐文章于 2023-12-12 09:30:00 发布
最新推荐文章于 2023-12-12 09:30:00 发布
阅读量2.3k 收藏
点赞数
分类专栏： Python与爬虫 文章标签： python excel
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Quest_sec/article/details/105668852
版权

excel上图：
在这里插入图片描述

爬虫跑的结果，上图：
在这里插入图片描述

那么问题出现了，每一组数据都确定是爬下来的，为什么单单这几行没有呢？百度没有看到任何相似问题，只好自己写了。观察发现，这几组数据是不完整的，少了一列，且恰恰是这一列爬到的数据是不完全正确的（既有片长又有上映年份）于是明确两点：（1）对于数据部分缺失的问题，我们想要的结果并不是直接舍弃整组数据，而是有多少要多少（2）对于爬到的数据不准确的问题，当然是规则设置上出问题了，so现在去修改代码吧~

Quest_sec
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python实现自定义顺序、排列写入数据到Excel的方法
09-20
主要介绍了Python实现自定义顺序、排列写入数据到Excel的方法,涉及Python针对Excel文件的数据处理及读写相关操作技巧,需要的朋友可以参考下
python打印/输出显示不全，只需加两行代码即可，或者另存为文件
热门推荐
qiuqiu1027的博客
04-12 2万+
在数组或者dataframe等格式输出或打印时，如果数据太长或者太宽只会有前后一些行列显示，中间显示省略号，想直接输出时候就能看到全部数据的话，根据需要添加显示所有行或列的代码即可 1. 添加代码 #显示所有列 pd.set_option('display.max_columns', None) #显示所有行 pd.set_option('display.max_rows', None) #设置v...
"List cannot be resolved to a type"错误的解决方法
horsedavid的博客
03-23 1万+
在JSP文件中，如果出现“List cannot be resolved to a type”的错误。 解决办法： 没有导入List定义文件，可以用即可解决。
python抓取数据时失败_爬取数据缺失的补坑，Python数据爬取的坑坑洼洼如何铲平...
weixin_39549110的博客
11-28 1351
渣渣业余选手讲解，关于爬取数据缺失的补坑，一点点关于Python数据爬取的坑坑洼洼如何铲平，个人的一些心得体会，还有结合实例的数据缺失的补全，几点参考，仅供观赏，如有雷同，那肯定是我抄袭的！在使用Python爬取数据的过程中，尤其是用你自身电脑进行数据抓取，往往会有网络延迟，或者兼职网管拔插重启网络的情况发生，这是渣渣碰到的非常普遍的情况，当然推荐还是推荐使用服务器抓取数据。当然这是比较常见和可控...
解决TypeError: Type 'list' cannot be serialized.
Quest_sec的博客
04-07 7064
拿到HTML网页 html = etree.HTML(content) 编写规则 html = etree.HTML(content) divs = html.xpath('//div[@class="rank"]//span[@class="span"]') print(type(divs)) print(divs) divs返回一个列表,无法直接打印出数据： <class 'list...
爬虫学习——获得数据后的数据存储（csv & Excel 的写入与读取）
weixin_53919192的博客
04-21 5692
本文介绍了网页爬虫获取数据后数据存储两种方法，希望对你有帮助，加油，希望你我一同走进爬虫的世界~~
解决：TypeError: Type ‘list’ cannot be serialized
最新发布
nings666的博客
12-12 1192
背景 在使用之前的代码时，报错： Traceback (most recent call last): File "E:/Test/test.py", line 14, in d = etree.tostring(divs) File "src/lxml/etree.py", line 3443, in lxml.etree.tostring TypeError: Type 'list' cannot be serialized. 翻译： ``` 追溯（最近一次调用）...
Python xlsxwriter 写入富文本丢失数据
thelostxxx的博客
07-05 938
Python xlsxwriter 写入富文本丢失数据
解决：Python写入数据不完整
m0_38132177的博客
03-24 3321
解决Python写入数据不完整的情况
大佬们帮我看看怎么输出到Excel中是空的？
pdcfighting的博客
03-08 254
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤冥冥花正开，飏飏燕新乳。大家好，我是皮皮。一、前言前几天在Python铂金交流群【Jethro Shen】问了一个Python自动化处理的问题，这里拿出来给大家分享下。代码如下：importpandasaspd importchardet #读取题库文件 withopen...
Python3读取和写入excel表格数据的示例代码
09-16
主要介绍了Python3读取和写入excel表格数据的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
python实现数据写入excel表格
09-20
主要为大家详细介绍了python实现数据写入excel表格，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
python爬虫数据可视化分析
01-06
Python爬虫数据可视化分析大作业，python爬取猫眼评论数据，并做可视化分析。 python爬虫数据可视化分析大作业 python爬虫，并将数据进行可视化分析，数据可视化包含饼图、柱状图、漏斗图、词云、另附源代码和报告书...
python批量将excel内容进行翻译写入功能
09-18
主要介绍了python批量将excel内容进行翻译写入功能，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
python报错ImportError: cannot import name 'etree' from 'lxml' (E:\python\python\lib\site-packages\lxml
Quest_sec的博客
05-02 1万+
lxml安装正常，import lxml正常，from lxml import etree 报错，查了很多资料，都没有解决问题，但仍然汇总于下： 1、电脑中具有 lxml 同名文件，重命名即可，即使不在同一路径，也不允许？ 2、高版本lxml没有etree模块。有网友确定lxml4.2.5版本带有etree模块，且该版本lxml支持python3.7.4版本。安装命令： pip install l...
XPath提取网页数据（附实例）
Quest_sec的博客
04-03 8148
文章目录（一）XPath语法（二）用Python实践Python爬虫的两个思路：常用写法（三）一个案例【完整代码】 （一）XPath语法 借助Chrome浏览器的XPath插件来学习XPath语法，视频学习链接： 网络爬虫与XPath（一） 网络爬虫与XPath（二） 笔记： 目标标签、 目标标签、目标属性、 目标标签、父标签、 父标签+父属性 父标签+父属性+目标标签 爷爷标签+父标签+…（规则...
python去掉\t\r\n空格换行符
Quest_sec的博客
04-07 7755
想要去掉\t\r\n：使用函数 normalize-space（） result = html.xpath('normalize-space(//tbody//a/text())')#返回list类型 print(result)
解决重命名FileNotFoundError: [WinError 3] 系统找不到指定的路径: 'test.csv' -> 'hello/word.csv'
Quest_sec的博客
04-27 6640
python使用os.rename（）函数重命名文件/目录，出现如题报错，在查阅了很多资料后，终于发现了问题。。。将解决办法总结如下
python爬虫数据写入excel
06-12
可以使用 Python 的 pandas 库将爬虫数据写入 Excel 文件。以下是一个简单的示例代码： ```python import pandas as pd # 爬虫数据 data = {'标题': ['Python 爬虫教程', '数据分析入门', '机器学习实战'], '链接': ['https://www.example.com/crawler', 'https://www.example.com/data-analysis', 'https://www.example.com/machine-learning'], '作者': ['张三', '李四', '王五']} # 转化为 pandas 的 DataFrame 格式 df = pd.DataFrame(data) # 写入 Excel 文件 df.to_excel('data.xlsx', index=False) ``` 其中，`data` 是爬虫数据，`df = pd.DataFrame(data)` 将数据转化为 pandas DataFrame 格式，`df.to_excel('data.xlsx', index=False)` 将数据写入名为 `data.xlsx` 的 Excel 文件中。如果要添加多个工作表，可以使用 `ExcelWriter` 类。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值