ElasticSearch搜索引擎API笔记

                                                                  ElasticSearch搜索引擎API笔记

1、 pom.xml

    <dependency>

       <groupId>org.elasticsearch.client</groupId>

        <artifactId>transport</artifactId>

        <version>5.6.3</version>

     </dependency>

2、 Client

1、Transport Client

（1）不设置集群名称

// on startup

//此步骤添加IP，至少一个，如果设置了"client.transport.sniff"= true 一个就够了，因为添加了自动嗅探配置

TransportClient client = new PreBuiltTransportClient(Settings.EMPTY)

        .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("host1"), 9300))

        .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("host2"), 9300));

// on shutdown  关闭client

client.close();

（2）设置集群名称

Settings settings = Settings.builder()

        .put("cluster.name", "myClusterName").build();  //设置ES实例的名称

TransportClient client = new PreBuiltTransportClient(settings);  //自动嗅探整个集群的状态，把集群中其他ES节点的ip添加到本地的客户端列表中

//Add transport addresses and do something with the client...

（3）增加自动嗅探配置

Settings settings = Settings.builder()

        .put("client.transport.sniff", true).build();

TransportClient client = new PreBuiltTransportClient(settings);

（4）其他配置

client.transport.ignore_cluster_name  //设置 true ，忽略连接节点集群名验证

client.transport.ping_timeout       //ping一个节点的响应时间默认5秒

client.transport.nodes_sampler_interval //sample/ping 节点的时间间隔，默认是5s

对于ES Client，有两种形式，一个是TransportClient，一个是NodeClient。两个的区别为：TransportClient作为一个外部访问者，通过HTTP去请求ES的集群，对于集群而言，它是一个外部因素。 NodeClient顾名思义，是作为ES集群的一个节点，它是ES中的一环，其他的节点对它是感知的，不像TransportClient那样，ES集群对它一无所知。NodeClient通信的性能会更好，但是因为是ES的一环，所以它出问题，也会给ES集群带来问题。NodeClient可以设置不作为数据节点，在elasticsearch.yml中设置，这样就不会在此节点上分配数据。

如果用ES的节点，大家仁者见仁智者见智，各按所需。

（5）实例

Settings esSettings = Settings.builder()

    .put("cluster.name", clusterName) //设置ES实例的名称

    .put("client.transport.sniff", true) //自动嗅探整个集群的状态，把集群中其他ES节点的ip添加到本地的客户端列表中

    .build();

    client = new PreBuiltTransportClient(esSettings);//初始化client较老版本发生了变化，此方法有几个重载方法，初始化插件等。

    //此步骤添加IP，至少一个，其实一个就够了，因为添加了自动嗅探配置

    client.addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName(ip), esPort));

3、 XpackTransportclient

如果 ElasticSearch 服务安装了 x-pack 插件，需要PreBuiltXPackTransportClient实例才能访问

使用Maven管理项目，把下面代码增加到pom.xml;

一定要修改默认仓库地址为https://artifacts.elastic.co/maven ，因为这个库没有上传到Maven中央仓库

<project ...>

   <repositories>

     <!-- add the elasticsearch repo -->

     <repository>

        <id>elasticsearch-releases</id>

        <url>https://artifacts.elastic.co/maven</url>

        <releases>

           <enabled>true</enabled>

        </releases>

        <snapshots>

           <enabled>false</enabled>

        </snapshots>

     </repository>

     ...

  </repositories>

   ...

  <dependencies>

     <!-- add the x-pack jar as a dependency -->

     <dependency>

        <groupId>org.elasticsearch.client</groupId>

        <artifactId>x-pack-transport</artifactId>

        <version>5.6.3</version>

     </dependency>

     ...

  </dependencies>

   ...

 </project>

实例

Settings settings =Settings.builder().put("cluster.name", "xxx")

                   .put("xpack.security.transport.ssl.enabled", false)

                   .put("xpack.security.user", "xxx:xxx")

                   .put("client.transport.sniff", true).build();

try {

   client = new PreBuiltXPackTransportClient(settings)

           .addTransportAddress(newInetSocketTransportAddress(InetAddress.getByName("xxx.xxx.xxx.xxx"),9300))

           .addTransportAddress(newInetSocketTransportAddress(InetAddress.getByName("xxx.xxx.xxx.xxx"),9300));

} catch (UnknownHostException e) {

   e.printStackTrace();

}

4、 Document APIs

1、 Index API

 Index API 允许我们存储一个JSON格式的文档，使数据可以被搜索。文档通过index、type、id唯一确定。我们可以自己提供一个id，或者也使用Index API 为我们自动生成一个。

这里有几种不同的方式来产生JSON格式的文档(document)：

手动方式，使用原生的byte[]或者String

·       使用Map方式，会自动转换成与之等价的JSON

·       使用第三方库来序列化beans，如Jackson

·       使用内置的帮助类 XContentFactory.jsonBuilder()

2、 手动方式

   数据格式

String json = "{" +

        "\"user\":\"kimchy\"," +

        "\"postDate\":\"2013-01-30\"," +

        "\"message\":\"trying out Elasticsearch\"" +

    "}";

实例

/**  

 * 手动生成JSON  

 */  

@Test  

public void CreateJSON(){  

    String json = "{" +  

            "\"user\":\"fendo\"," +  

            "\"postDate\":\"2013-01-30\"," +  

            "\"message\":\"Hell word\"" +  

        "}";  

    IndexResponse response = client.prepareIndex("fendo", "fendodate")  

            .setSource(json)  

            .get();  

    System.out.println(response.getResult());  

}

Map方式

Map是key:value数据类型，可以代表json结构.

Map<String, Object> json = new HashMap<String, Object>();

json.put("user","kimchy");

json.put("postDate",new Date());

json.put("message","trying out Elasticsearch");

实例

/**  

 * 使用集合  

 */  

@Test  

public void CreateList(){  

    Map<String, Object> json = new HashMap<String, Object>();  

    json.put("user","kimchy");  

    json.put("postDate","2013-01-30");  

    json.put("message","trying out Elasticsearch");  

    IndexResponse response = client.prepareIndex("fendo", "fendodate")  

            .setSource(json)  

            .get();  

    System.out.println(response.getResult());  

}

序列化方式

ElasticSearch已经使用了jackson，可以直接使用它把javabean转为json.

import com.fasterxml.jackson.databind.*;

// instance a json mapper

ObjectMapper mapper = new ObjectMapper(); // create once, reuse

// generate json

byte[] json = mapper.writeValueAsBytes(yourbeaninstance);

实例

/**  

 * 使用JACKSON序列化  

 * @throws Exception  

 */  

@Test  

public void CreateJACKSON() throws Exception{  

    CsdnBlog csdn=new CsdnBlog();  

    csdn.setAuthor("fendo");  

    csdn.setContent("这是JAVA书籍");  

    csdn.setTag("C");  

    csdn.setView("100");  

    csdn.setTitile("编程");  

    csdn.setDate(new Date().toString());  

    // instance a json mapper  

    ObjectMapper mapper = new ObjectMapper(); // create once, reuse  

    // generate json  

    byte[] json = mapper.writeValueAsBytes(csdn);  

    IndexResponse response = client.prepareIndex("fendo", "fendodate")  

            .setSource(json)  

            .get();  

    System.out.println(response.getResult());  

}

XcontentBuilder帮助类方式

ElasticSearch提供了一个内置的帮助类XContentBuilder来产生JSON文档

// Index name

String _index = response.getIndex();

// Type name

String _type = response.getType();

// Document ID (generated or not)

String _id = response.getId();

// Version (if it's the first time you index this document, you will get: 1)

long _version = response.getVersion();

// status has stored current instance statement.

RestStatus status = response.status();

实例

/**  

 * 使用ElasticSearch 帮助类  

 * @throws IOException   

 */  

@Test  

public void CreateXContentBuilder() throws IOException{  

    XContentBuilder builder = XContentFactory.jsonBuilder()  

            .startObject()  

                .field("user", "ccse")  

                .field("postDate", new Date())  

                .field("message", "this is Elasticsearch")  

            .endObject();  

    IndexResponse response = client.prepareIndex("fendo", "fendodata").setSource(builder).get();  

    System.out.println("创建成功!");  

}

综合实例

import java.io.IOException;  

import java.net.InetAddress;  

import java.net.UnknownHostException;  

import java.util.Date;  

import java.util.HashMap;  

import java.util.Map;  

import org.elasticsearch.action.index.IndexResponse;  

import org.elasticsearch.client.transport.TransportClient;  

import org.elasticsearch.common.settings.Settings;  

import org.elasticsearch.common.transport.InetSocketTransportAddress;  

import org.elasticsearch.common.xcontent.XContentBuilder;  

import org.elasticsearch.common.xcontent.XContentFactory;  

import org.elasticsearch.transport.client.PreBuiltTransportClient;  

import org.junit.Before;  

import org.junit.Test;  

import com.fasterxml.jackson.core.JsonProcessingException;  

import com.fasterxml.jackson.databind.ObjectMapper;  

public class CreateIndex {  

    private TransportClient client;  

    @Before  

    public void getClient() throws Exception{  

        //设置集群名称  

        Settings settings = Settings.builder().put("cluster.name", "my-application").build();// 集群名  

        //创建client  

        client  = new PreBuiltTransportClient(settings)  

                .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("127.0.0.1"), 9300));  

    }  

    /**  

     * 手动生成JSON  

     */  

    @Test  

    public void CreateJSON(){  

        String json = "{" +  

                "\"user\":\"fendo\"," +  

                "\"postDate\":\"2013-01-30\"," +  

                "\"message\":\"Hell word\"" +  

            "}";  

        IndexResponse response = client.prepareIndex("fendo", "fendodate")  

                .setSource(json)  

                .get();  

        System.out.println(response.getResult());  

    }  

    /**  

     * 使用集合  

     */  

    @Test  

    public void CreateList(){  

        Map<String, Object> json = new HashMap<String, Object>();  

        json.put("user","kimchy");  

        json.put("postDate","2013-01-30");  

        json.put("message","trying out Elasticsearch");  

        IndexResponse response = client.prepareIndex("fendo", "fendodate")  

                .setSource(json)  

                .get();  

        System.out.println(response.getResult());  

    }  

    /**  

     * 使用JACKSON序列化  

     * @throws Exception  

     */  

    @Test  

    public void CreateJACKSON() throws Exception{  

        CsdnBlog csdn=new CsdnBlog();  

        csdn.setAuthor("fendo");  

        csdn.setContent("这是JAVA书籍");  

        csdn.setTag("C");  

        csdn.setView("100");  

        csdn.setTitile("编程");  

        csdn.setDate(new Date().toString());  

        // instance a json mapper  

        ObjectMapper mapper = new ObjectMapper(); // create once, reuse  

        // generate json  

        byte[] json = mapper.writeValueAsBytes(csdn);  

        IndexResponse response = client.prepareIndex("fendo", "fendodate")  

                .setSource(json)  

                .get();  

        System.out.println(response.getResult());  

    }  

    /**  

     * 使用ElasticSearch 帮助类  

     * @throws IOException   

     */  

    @Test  

    public void CreateXContentBuilder() throws IOException{  

        XContentBuilder builder = XContentFactory.jsonBuilder()  

                .startObject()  

                    .field("user", "ccse")  

                    .field("postDate", new Date())  

                    .field("message", "this is Elasticsearch")  

                .endObject();  

        IndexResponse response = client.prepareIndex("fendo", "fendodata").setSource(builder).get();  

        System.out.println("创建成功!");  

    }  

}

你还可以通过startArray(string)和endArray()方法添加数组。.field()方法可以接受多种对象类型。你可以给它传递数字、日期、甚至其他XContentBuilder对象。

     2、get API

get api可以通过id查看文档：

GetResponse response = client.prepareGet("twitter", "tweet", "1").get();

配置线程

operationThreaded 设置为 true 是在不同的线程里执行此次操作

下面的例子是operationThreaded 设置为 false ：

GetResponse response = client.prepareGet("twitter", "tweet", "1")

        .setOperationThreaded(false)

        .get();

3、 Delete API

根据ID删除：

DeleteResponse response = client.prepareDelete("twitter", "tweet", "1").get();

配置线程

operationThreaded 设置为 true 是在不同的线程里执行此次操作

下面的例子是operationThreaded 设置为 false ：

GetResponse response = client.prepareGet("twitter", "tweet", "1")

        .setOperationThreaded(false)

        .get();

DeleteResponse response = client.prepareDelete("twitter", "tweet", "1")

        .setOperationThreaded(false)

        .get();

4、 Delete By Query API

通过查询条件删除

BulkByScrollResponse response =

    DeleteByQueryAction.INSTANCE.newRequestBuilder(client)

        .filter(QueryBuilders.matchQuery("gender", "male")) //查询条件

        .source("persons") //index(索引名)

        .get();  //执行

long deleted = response.getDeleted(); //删除文档的数量

如果需要执行的时间比较长，可以使用异步的方式处理,结果在回调里面获取

DeleteByQueryAction.INSTANCE.newRequestBuilder(client)

    .filter(QueryBuilders.matchQuery("gender", "male"))      //查询            

    .source("persons")                //index(索引名)                                    

    .execute(new ActionListener<BulkByScrollResponse>() {     //回调监听     

        @Override

        public void onResponse(BulkByScrollResponse response) {
  

            long deleted = response.getDeleted();   //删除文档的数量                 

        }

        @Override

        public void onFailure(Exception e) {
  

            // Handle the exception

        }

    });

5、 Update API

更新索引

有两种方式更新索引：

   创建 UpdateRequest,通过client发送；

   使用 prepareUpdate() 方法；

使用UpdateRequest

UpdateRequest updateRequest = new UpdateRequest();

updateRequest.index("index");

updateRequest.type("type");

updateRequest.id("1");

updateRequest.doc(jsonBuilder()

        .startObject()

            .field("gender", "male")

        .endObject());

client.update(updateRequest).get();

使用 prepareUpdate() 方法

client.prepareUpdate("ttl", "doc", "1")

        .setScript(new Script("ctx._source.gender = \"male\""  ,ScriptService.ScriptType.INLINE, null, null))//脚本可以是本地文件存储的，如果使用文件存储的脚本，需要设置 ScriptService.ScriptType.FILE 

        .get();

client.prepareUpdate("ttl", "doc", "1")

        .setDoc(jsonBuilder()   //合并到现有文档

            .startObject()

                .field("gender", "male")

            .endObject())

        .get();