在Hive导入数据到Es中,需要注意,优先创建一个mapping
index=table_name
为了加速导入数据的速度。
1:创建Mapping, 优化需要的字段。
2:设置副本为0
3:设置刷新时间为 -1
function createIndex(){
es_nodes=$1
index=$2
active_node="`getEsActiveNode $es_nodes`"
curl -XDELETE http://${active_node}:9200/${index}
#create index
curl -XPUT http://${active_node}:9200/${index} -d '{"settings": { "refresh_interval": "-1", "number_of_replicas": 0 }}'
}
# mapping 参考我的博客,elastic动态创建Mapping
function createIndexWithMapping(){
es_nodes=$1
index=$2
mapping=$3
active_node="`getEsActiveNode $es_nodes`"
curl -XDELETE http://${active_node}:9200/${index}