本来以为是件很简单的事情,可是搞了好久才搞定。对hive细节了解不够,上线布置流程了解不够。
问题:
load相当于mv,所以源数据只能供一个统计脚本使用。新版本的数据源要通过select的方式获取。
参数格式,时间居然是用20100202的方式给的,hive是不能处理这种时间格式,修改参数。
初始化所有历史数据时,动态分区会丢失。所以只初始化90天数据,
本来以为是件很简单的事情,可是搞了好久才搞定。对hive细节了解不够,上线布置流程了解不够。
问题:
load相当于mv,所以源数据只能供一个统计脚本使用。新版本的数据源要通过select的方式获取。
参数格式,时间居然是用20100202的方式给的,hive是不能处理这种时间格式,修改参数。
初始化所有历史数据时,动态分区会丢失。所以只初始化90天数据,