elasticsearch(5)hive 数据导入Elasticsearch

本文介绍了如何从Hive高效导入数据到Elasticsearch,包括创建映射、设置副本数量和刷新时间,以及优化Hive配置。通过自定义函数createIndex、createIndexWithMapping和updateIndex实现数据导入,并提供了Hive外部表创建和数据插入的示例。
摘要由CSDN通过智能技术生成

在Hive导入数据到Es中,需要注意,优先创建一个mapping

index=table_name

为了加速导入数据的速度。

1:创建Mapping, 优化需要的字段。

2:设置副本为0

3:设置刷新时间为 -1

function createIndex(){

        es_nodes=$1
        index=$2
        active_node="`getEsActiveNode $es_nodes`"
        curl -XDELETE http://${active_node}:9200/${index}
        #create index 
        curl -XPUT http://${active_node}:9200/${index} -d '{"settings": {  "refresh_interval": "-1",  "number_of_replicas": 0 }}'
}


# mapping 参考我的博客,elastic动态创建Mapping

function createIndexWithMapping(){
        es_nodes=$1
        index=$2
        mapping=$3
        active_node="`getEsActiveNode $es_nodes`"
        curl -XDELETE http://${active_node}:9200/${index}

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值