Java 实现ES批量索引

最新推荐文章于 2024-08-12 14:36:02 发布

着凉的石头

最新推荐文章于 2024-08-12 14:36:02 发布

阅读量6.1k

点赞数

分类专栏：工作学习文章标签： java 索引

本文链接：https://blog.csdn.net/hotallen/article/details/51376139

版权

该博客展示了如何使用Java的Jest客户端批量创建Elasticsearch（ES）索引。作者通过创建`DemoIndexer`类，实现了单条和批量索引数据，以及文件读取、搜索和删除索引的功能。示例中，数据对象为`Example`，并使用了`Hadoop`进行离线分析。

摘要由CSDN通过智能技术生成

项目中有部分数据通过Hadoop离线分析之后，需要将这部分数据的检索功能暴露出去，于是考虑搭建一套简单的索引服务。Lucene比较灵活，可以自定义比较多的规则，比如分词，排序等，除了索引之外，服务化方面需要写一些代码，本着少开发，易维护的原则，采用了ES来搭建索引服务。ES的REST类型的接口还是比较容易上手的，把数据刷到ES之后，第三方可以直接调用ES的接口来进行检索，目前百万级别的时候性能还是比较OK的。以下是简单的demo，没有多线程，只有批量建索引。

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.google.common.base.Charsets;
import com.google.common.base.Preconditions;
import com.google.common.collect.Lists;
import com.google.common.io.Files;
import com.google.common.io.LineProcessor;
import com.zuoye.crm.model.Example;
import io.searchbox.client.JestClient;
import io.searchbox.client.JestClientFactory;
import io.searchbox.client.config.HttpClientConfig;
import io.searchbox.core.Bulk;
import io.searchbox.core.Index;
import io.searchbox.core.Search;
import io.searchbox.core.SearchResult;
import io.searchbox.indices.CreateIndex;
import io.searchbox.indices.DeleteIndex;
import org.apache.commons.cli.BasicParser;
import org.apache.commons.cli.CommandLine;
import org.apache.commons.cli.HelpFormatter;
import org.apache.commons.cli.Options;
import org.elasticsearch.index.query.QueryBuilder;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.File;
import java.io.IOException;
import java.util.List;

/**
 * Created with IntelliJ IDEA.
 * User: hotallen
 * Date: 2016/5/11
 * Time: 16:50
 * To change this template use File | Settings | File Templates.
 */
public class DemoIndexer {

private static final Logger LOGGER = LoggerFactory.getLogger(CrmTeacherIndexer.class);

private static final String