hive导入es的数组字段类型

es和hive之间的array交互

es的索引建立

在我使用的过程中感觉es的数组其实就是string的多条语句,不需要特意的去定义字段类型的数组定义

es的数据的字段类型现在lable_num_list存的就是array的数据
这就是es的查询方式数组

hive的表建立和导入es

hive的临时汇总数据表建立我尝试使用了压缩的文件类型的报错了,不知道为什么,所以使用了txt的建表文件类型。

create table lable_info_array(
party_id_s string comment '客户号',
lable_num_list array<string> comment '标签编号集合'
) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
collection items TERMINATED by ':';

hive临时表汇总语句的sql

insert into table lable_info_array
select party_id_s,collect_list(label_num_s) from party_label_info_solr 
group by party_id_s;

hive对应es的表建表

CREATE TABLE app_ump.lable_info_array_es(
party_id_s string comment '客户号',
lable_num_list array<string> comment '标签编号集合'
)
STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler' 
TBLPROPERTIES(
'es.resource' = 'lable_info_array/csrcb', 
'es.nodes'='170.100.104.47:9200,170.130.106.145:9200,170.100.104.48:9200',
'es.index.auto.create' = 'true',
'es.index.read.missing.as.empty' = 'true',
'es.mapping.id'='party_id_s');
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值