elasticsearch可以实现秒级别查询,其查询的方式和sql很相似,本博客主要是讲一下es怎么实现表中的数据复制,即将一个索引复制到另一个索引当中;
es版本:5.4.2
实现索引复制的原因:生产上所建的es需要进行修改,但es中已有相当一部分数据,这部分数据必须先备份之后,方能重建索引,再进行数据复制;
具体实现步骤:
(1)假设原始在es上的索引被称为indexname1,这里需要创建的索引被称为indexname2;首先我们创建新的index2;
我们使用的是大数据hive,每天都会将hive上的数据同步到es上,因此建立了hive的外表与es上的索引相关联,因此,在往hive外表中插入数据时,es中也会有数据插入进去;具体如下:
create external table
es.tablename2(
column1 string,
column2 string
)stored by 'org.elasticsearch.hadoop.hive.EsStorageHandler' TBLPROPERTIES(
'es.resource'='indexname2/indexname2',
'es.index.auto.create'='false',
'es.nodes'='127.0.0.1:9200'
);
与此同时,创建shell脚本,该脚本是对es进行创建,具体如下:
curl -X PUT http://127.0.0.1:9200/indexname2 -H 'Content-Type: application/json' -d '{
"mappings":{
"indexname2":{
"properties":{
"column1":{
"type":"keyword"
},
"column2":{
"type":"keyword"
}
}
}
}‘
在完成了创建索引2之后,我们就可以将索引1中的数据备份到索引2中,具体也是采用curl的方式去操作,具体如下:
curl -X POST http://127.0.0.1:9200/_reindex -H 'Content-Type: application/json' -d '
{
"source": {
"index": indexname1,
"query": {
"match_all": {
}
}
},
"dest": {
"index": indexname2
}
}'
这里是将索引1中的数据全部备份到索引2中,当索引1中和索引2中的列可以一一对应上,上述的赋值应该是没有问题的;
改操作可以认为是操作如下sql:
create table indexname2(xxxxx);
insert into indexname2 select * from indexname1;