hive和es整合

第一步,加入对应版本的jar包到hive的lib目录下
如何知道hive的lib目录是什么呢

 whereis hive 
  • 命令,可以找到hive的lib所在位置如图:
  • 在这里插入图片描述
  • 第二部 添加java和hive关联
  • hive命令进入hive CML(命令行)
  • 执行如下命令
add jar /usr/lib/hive/lib/elasticsearch-hadoop-7.0.0.jar;

–注意7.00是你用的es的版本号 jar包的下载地址可以在mvnrepository
中查找
3.建表语句:

CREATE EXTERNAL table IF NOT EXISTS dmp.t_dmp_idfa_bundle_country_array_tbl_es(ifa STRING,bundles array<STRING>,countrys array<STRING>)STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler'TBLPROPERTIES('es.resource' = 't_dmp_idfa_bundle_country_array_tbl_es/_doc','es.nodes' = 'locolhost','es.nodes.wan.only' = 'true');

4.在hive命令行中执行

insert into dmp.t_dmp_idfa_bundle_country_array_tbl_es
(ifa,bundles,countrys) select ifa,bundles,countrys from dmp.t_dmp_idfa_bundle_country_array_tbl
limit 10;

就可以了,
备注,插入几条还是没问题的,如果插入的多了会包错,正在查找原
至此,hive和es整合完成

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值