通过hive将excel文件_hive 之 将excel数据导入hive中 : excel 转 txt

一、需求：

1、客户每月上传固定格式的excel文件到指定目录。每月上传的文件名只有结尾月份不同，如： 10月文件名：  zhongdiangedan202010.xlsx  ， 11月文件名： zhongdiangedan202011.xlsx

2、将上传的excel文件导入hive中，在做进一步数据分析。

二、思路：

1、通过python的pandas模块将excel文件转换为txt文件；

2、编写shell脚本，使用 hdfs dfs -put 将txt文件导入指定表(方便每月执行)。

三、pandas.read_excel 包：

def read_excel(io,sheet_name=0,header=0,names=None,index_col=None,usecols=None,squeeze=False,dtype=None,engine=None,converters=None,true_values=None,false_values=None,skiprows=None,nrows=None,na_values=None,keep_default_na=True,na_filter=True,verbose=False,parse_dates=False,date_parser=None,thousands=None,comment=None,skipfooter=0,convert_float=True,mangle_dupe_cols=True)

常用属性字段说明，如下：

属性字段

默认字段

含义