【Python案例】（四）实现向Excel的同一sheet多次写入数据

你别说了多动脑子

已于 2022-10-27 14:38:07 修改

阅读量4.6k

点赞数

分类专栏： python案例文章标签： python

于 2022-04-21 16:15:24 首次发布

本文链接：https://blog.csdn.net/weixin_49340599/article/details/124317134

版权

python案例专栏收录该内容

11 篇文章 0 订阅

订阅专栏

本文详细介绍了如何使用Python处理爬取数据并持续写入同一Excel文件的步骤。在遇到pandas的ExcelWriter无法直接追加数据的问题后，作者选择先读取现有数据，再通过concat方法合并新数据并去重，最后重新写入Excel。在去重操作中，使用了drop_duplicates函数确保唯一性。过程中注意了避免index列被误处理。

摘要由CSDN通过智能技术生成

一、需求详解

需求：实时爬取某公开网页数据，存入excel。数据爬取部分在下一篇文章中阐述，本文主要记录如何将将数据持续导入同一excel的同一sheet中。

二、步骤拆解

判断当前目录是否已经存在此文件，如果不存在，则创建文件，如果存在将数据直接导入。

这里遇到的问题是，如何将数据持续写入excel中，尝试使用pandas模块的ExcelWriter函数，结果发现这个函数结合to_excel()写入数据时，会新建一个sheet去放入数据，不会添加到原数据后面。
没研究出pandas怎么将数据直接导入原表格，于是我换了个思路，先把之间的数据读取出来，然后新获取的数据，用pandas中的concat方法将数据合并，然后重新导出。

每次抓取的数据可能之前被抓取过，所以要删除重复的数据条。
具体步骤如下：

def add_data(df,file_path):
"""
将数据保存到本地
"""
	if not os.path.exists(file_path):
        df.to_excel(file_path,"记录",index = False) #步骤一：判断是否存在要导入数据的文件
    else:
        row_df = pd.DataFrame(pd.read_excel(file_path,sheet_name='记录')) #读取原数据文件和表   
        final_df = pd.concat([row_df,df],ignore_index=True) # （当两个表index没有实际意义，使用ignore_index参数，为true，合并的两个表
        final_df.drop_duplicates(["姓名","发表时间","发表内容"],keep='first',inplace=True) # 去重操作结果是以一个copy出来的新的DF（默认），如果想在DF上修改，需设置inplace=True
        # final_df = final_df.reset_index(drop=True)
        # print(final_df.head())
        final_df.to_excel(file_path,"记录",index=False)

遇到的问题：

最终得到结果中，多出好多列index
原因：因为read_excel()，会把原本导入index当作数据，然后创建新的index。所以，为了解决这个问题，我们需要在之前导出to_excel(... ,index=False)中加入index=False的选项，从而让之前导入excel的数据不包含index项。这样在之后读取过程中，也不会因为有index列而错把index列当数据的问题。
final_df.drop_duplicates(["姓名","发表时间","发表内容"],keep='first',inplace=True):去重操作结果是以一个copy出来的新的Dataframe（默认），如果想在DataFrame上修改，需设置inplace=True