ElasticSearch更新字段类型的具体解决办法(重要)

前几天遇到的问题,elasticsearch中已经导入了将近两亿条数据,但是客户方又需要把其中的一个字段由string类型改为date类型,本来以为这是一个很简单的问题,但是。。。麻烦大了

这个麻烦就是,当你要给已经索引好的文档改变其中一个字段类型的时候,需要对所有的数据重新索引!!!!!

下面是利用elasticsearch java api实现的一个数据重新索引工具:

package elasticsearch.importdata;

import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.search.SearchType;
import org.elasticsearch.client.Client;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.settings.ImmutableSettings;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.transport.InetSocketTransportAddress;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.index.query.QueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;

public class ESBulkDataApi {

	public static void main(String[] args) {
		// establish the client
		Settings settings = ImmutableSettings.settingsBuilder()
				.put("cluster.name", "genbank").build();
		@SuppressWarnings("resource")
		Client client = new TransportClient(settings)
				.addTransportAddress(new InetSocketTransportAddress(
						"10.0.26.1", 9300));
		QueryBuilder queryBuilder = QueryBuilders.boolQuery().must(
				QueryBuilders.matchAllQuery());

		SearchResponse searchResponse = client.prepareSearch("liu")
				.setTypes("seqs").setSearchType(SearchType.SCAN)
				.setScroll(new TimeValue(60000)).setQuery(queryBuilder)
				.setSize(100).execute().actionGet();

		//scroll to get the data
		while (true) {

			searchResponse = client
					.prepareSearchScroll(searchResponse.getScrollId())
					.setScroll(new TimeValue(600000)).execute().actionGet();
			

			for (SearchHit hit : searchResponse.getHits().getHits()) {
				// copy the data to the new index
				
				client.prepareIndex("my_index_v1", "seqs", hit.getId())
						.setSource(hit.getSourceAsString()).execute().actionGet();
			}

			// when there is no data,break the loop
			if (searchResponse.getHits().getHits().length == 0) {
				break;
			}

		}
	}

}

值得注意的是,重新索引的时候肯定会新建一个索引名称,为了不停止应用,需要用到elasticsearch中的别名(这个问题应该在系统设计的时候就应该想到了),先把别名指向原来的旧索引,当新索引建立完毕以后,改变别名的指向。。。

吐槽【elasticsearch官网太坑爹了,零零散散没有具体的解决步骤】

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值