【Python案例】（四）实现向Excel的同一sheet多次写入数据

一、需求详解

需求：实时爬取某公开网页数据，存入excel。数据爬取部分在下一篇文章中阐述，本文主要记录如何将将数据持续导入同一excel的同一sheet中。

二、步骤拆解

1. 判断当前目录是否已经存在此文件，如果不存在，则创建文件，如果存在将数据直接导入。

   这里遇到的问题是，如何将数据持续写入excel中，尝试使用pandas模块的ExcelWriter函数，结果发现这个函数结合to_excel()写入数据时，会新建一个sheet去放入数据，不会添加到原数据后面。

2. 没研究出pandas怎么将数据直接导入原表格，于是我换了个思路，先把之间的数据读取出来，然后新获取的数据，用pandas中的concat方法将数据合并，然后重新导出。
3. 每次抓取的数据可能之前被抓取过，所以要删除重复的数据条。
   具体步骤如下：

   def add_data(df,file_path):
   """
   将数据保存到本地
   """
   	if not os.path.exists(file_path):
           df.to_excel(file_path,"记录",index = False) #步骤一：判断是否存在要导入数据的文件
       else:
           row_df = pd.DataFrame(pd.read_excel(file_path,sheet_name='记录')) #读取原数据文件和表   
           final_df = pd.concat([row_df,df],ignore_index=True) # （当两个表index没有实际意义，使用ignore_index参数，为true，合并的两个表
           final_df.drop_duplicates(["姓名","发表时间","发表内容"],keep='first',inplace=True) # 去重操作结果是以一个copy出来的新的DF（默认），如果想在DF上修改，需设置inplace=True
           # final_df = final_df.reset_index(drop=True)
           # print(final_df.head())
           final_df.to_excel(file_path,"记录",index=False)
   

遇到的问题：

1. 最终得到结果中，多出好多列index
   原因：因为read_excel()，会把原本导入index当作数据，然后创建新的index。所以，为了解决这个问题，我们需要在之前导出to_excel(... ,index=False)中加入index=False的选项，从而让之前导入excel的数据不包含index项。这样在之后读取过程中，也不会因为有index列而错把index列当数据的问题。

2. final_df.drop_duplicates(["姓名","发表时间","发表内容"],keep='first',inplace=True):去重操作结果是以一个copy出来的新的Dataframe（默认），如果想在DataFrame上修改，需设置inplace=True