hive与es之间实现数据交互

本文介绍了在hadoop和hbase集群环境下,如何在hive与elasticsearch之间进行数据交互。详细过程包括环境配置,如hadoop-2.6.0、hbase-1.1.2、hive-1.2.1和elasticsearch-1.7.1。重点讲述了选择elasticsearch-hadoop-2.1.2插件的原因及注册方法,并在hive中创建表进行数据测试。
摘要由CSDN通过智能技术生成

1、环境描述:

hadoop集群环境:hadoop-2.6.0;3台集群环境

hbase集群环境:habase-1.1.2 ;3台集群环境

hive环境:hive-1.2.1;1台测试环境

elasticsearch:elasticsearch-1.7.1测试环境

2、下载hive与es之间数据交互的插件。

说明:如果用ElasticSearch版本为2.1.0,必须使用elasticsearch-hadoop-2.2.0才能支持,如果ES版本低于2.1.0,可以使用elasticsearch-hadoop-2.1.2,在本次实验中我选择的是elasticsearch-hadoop-2.1.2。

3、注册elasticsearch-hadoop-2.1.2:

hive> add jar file:///home/hadoop/xuguokun/elasticsearch-hadoop-2.2.0.jar;
4、在es端创建表索引创建

  • 1
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值