Elasticsearch demo

package com.xuyw.blog;

import java.io.IOException;
import java.net.InetAddress;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

import org.elasticsearch.action.delete.DeleteResponse;
import org.elasticsearch.action.get.GetResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.update.UpdateRequest;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.transport.InetSocketTransportAddress;
import org.elasticsearch.index.query.QueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.script.Script;
import org.elasticsearch.script.ScriptService;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.elasticsearch.transport.client.PreBuiltTransportClient;
import org.junit.Before;
import org.junit.Test;
import static org.elasticsearch.common.xcontent.XContentFactory.*;
import com.alibaba.fastjson.JSON;
import com.xuyw.model.Blog;

public class BlogTest {
    private TransportClient client = null;

    @SuppressWarnings("resource")
    @Before
    public void before() throws Exception {
        Map<String, String> map = new HashMap<>();
        map.put("cluster.name", "my-application");
        Settings settings = Settings.builder().put(map).build();
        client = new PreBuiltTransportClient(settings)
                .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("127.0.0.1"), 9300));
        System.out.println("Started ES client");
    }

    /**
     * 创建索引
     */
    @Test
    public void testCreateIndex() {
        String json = "{" + "\"user\":\"xuyw\"," + "\"postDate\":\"2017-12-08\"," + "\"message\":\"Elasticsearch demo\""
                + "}";
        IndexResponse response = client.prepareIndex("twitter", "article", "1").setSource(json).get();
        System.out.println(" 索引名称:" + response.getIndex());
        System.out.println(" 类型名称:" + response.getType());
        System.out.println(" 文档id:" + response.getId());
        System.out.println(" 版本:" + response.getVersion());

    }

    /**
     * 添加数据
     */
    @Test
    public void testAddData() {
        List<String> jsonData = new ArrayList<>();
        jsonData.add(JSON.toJSONString(new Blog(1, "git简介", "2016-06-19", "SVN与Git最主要的区别...")));
        jsonData.add(JSON.toJSONString(new Blog(2, "Java中泛型的介绍与简单使用", "2016-06-19", "学习目标 掌握泛型的产生意义...")));
        jsonData.add(JSON.toJSONString(new Blog(3, "SQL基本操作", "2016-06-19", "基本操作:CRUD ...")));
        jsonData.add(JSON.toJSONString(new Blog(4, "Hibernate框架基础", "2016-06-19", "Hibernate框架基础...")));
        jsonData.add(JSON.toJSONString(new Blog(5, "Shell基本知识", "2016-06-19", "Shell是什么...")));
        for (int i = 0; i < jsonData.size(); i++) {
            IndexResponse response = client.prepareIndex("twitter", "article").setSource(jsonData.get(i)).get();
            // 输出结果
            System.out.println(JSON.toJSON(response));
        }
    }

    /**
     * 查找
     */
    @Test
    public void testQuery() {
        // 搜索数据
        GetResponse response = client.prepareGet("twitter", "article", "1").execute().actionGet();
        // 输出结果
        System.out.println(response.getSourceAsString());
    }

    /**
     * 查找
     */
    @Test
    public void testQuery2() {
        // 单个字段的查询
        QueryBuilder qb1 = QueryBuilders.termQuery("title", "hibernate");
        // 多个字段的查询
        QueryBuilder qb2 = QueryBuilders.multiMatchQuery("git", "title", "content");
        // 搜索数据
        SearchResponse response = client.prepareSearch("twitter").setTypes("article").setQuery(qb1).execute()
                .actionGet();

        SearchHits hits = response.getHits();
        if (hits.totalHits() > 0) {
            for (SearchHit hit : hits) {
                System.out.println("score:" + hit.getScore() + ":\t" + hit.getSource());// .get("title")
            }
        } else {
            System.out.println("搜到0条结果");
        }
    }

    @Test
    public void testUpdate() throws Exception {
        // 方法一:创建一个UpdateRequest,然后将其发送给client.
        UpdateRequest uRequest = new UpdateRequest();
        uRequest.index("twitter");
        uRequest.type("article");
        uRequest.id("1");
        uRequest.doc(jsonBuilder().startObject().field("content", "学习目标 掌握java泛型的产生意义update").endObject());
        // client.update(uRequest).get();
        // 方法二:prepareUpdate() 使用脚本更新索引
        // elasticsearch.yml,新增一行:script.engine.groovy.inline.update: on
        /*
         * client.prepareUpdate("twitter", "article", "1").setScript(new
         * Script("ctx._source.title = \"git入门\"")).get();
         */
        // 方法三:prepareUpdate() 使用doc更新索引
        /*
         * client.prepareUpdate("twitter", "article", "1")
         * .setDoc(jsonBuilder().startObject().field("content",
         * "SVN与Git对比。。。").endObject()).get();
         */
        // 方法四: 增加新的字段
        UpdateRequest updateRequest = new UpdateRequest("twitter", "article", "1")
                .doc(jsonBuilder().startObject().field("commet", "0").endObject());
        // client.update(updateRequest).get();
        // 方法五:upsert 如果文档不存在则创建新的索引
        IndexRequest indexRequest = new IndexRequest("twitter", "article", "10").source(
                jsonBuilder().startObject().field("title", "Git安装10").field("content", "学习目标 git。。。10").endObject());

        UpdateRequest uRequest2 = new UpdateRequest("twitter", "article", "10")
                .doc(jsonBuilder().startObject().field("title", "Git安装").field("content", "学习目标 git。。。").endObject())
                .upsert(indexRequest);
        client.update(uRequest2).get();
    }

    @Test
    public void testDelete() {
        //ID 删除
        DeleteResponse dResponse = client.prepareDelete("twitter", "article", "10").execute().actionGet();
        System.out.println(JSON.toJSONString(dResponse));

    }
}
### 回答1: 好的,下面是一个简单的 Apache Flink + MySQL + Elasticsearch 的同步示例: 首先,我们需要创建一个 Flink 应用程序来连接 MySQL 数据库并从中读取数据。下面是一个简单的程序示例: ```java import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.api.functions.source.SourceFunction; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.functions.source.SourceFunction; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; public class MySQLSourceExample { public static void main(String[] args) throws Exception { final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // configure MySQL connection String driver = "com.mysql.jdbc.Driver"; String url = "jdbc:mysql://localhost:3306/test"; String username = "root"; String password = "password"; // create MySQL source DataStream<String> mysqlSource = env.addSource(new SourceFunction<String>() { private volatile boolean isRunning = true; @Override public void run(SourceContext<String> sourceContext) throws Exception { Class.forName(driver); Connection connection = DriverManager.getConnection(url, username, password); PreparedStatement ps = connection.prepareStatement("SELECT * FROM my_table"); while (isRunning) { ResultSet rs = ps.executeQuery(); while (rs.next()) { String row = rs.getString("column_name"); sourceContext.collect(row); } Thread.sleep(1000); } ps.close(); connection.close(); } @Override public void cancel() { isRunning = false; } }); mysqlSource.print(); env.execute("MySQL Source Example"); } } ``` 接下来,我们需要将从 MySQL 中读取的数据写入 Elasticsearch。下面是一个简单的示例: ```java import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.api.functions.sink.SinkFunction; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.connectors.elasticsearch.ElasticsearchSink; import org.apache.flink.streaming.connectors.elasticsearch6.ElasticsearchSinkFunction; import org.apache.flink.streaming.connectors.elasticsearch6.ElasticsearchSinkBuilder; import org.apache.http.HttpHost; import org.elasticsearch.client.Requests; import org.elasticsearch.common.xcontent.XContentBuilder; import org.elasticsearch.common.xcontent.XContentFactory; import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; public class ElasticsearchSinkExample { public static void main(String[] args) throws Exception { final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // configure Elasticsearch connection List<HttpHost> httpHosts = new ArrayList<>(); httpHosts.add(new HttpHost("localhost", 9200, "http")); // create Elasticsearch sink ElasticsearchSink.Builder<String> esSinkBuilder = new ElasticsearchSink.Builder<>(httpHosts, new ElasticsearchSinkFunction<String>() { public IndexRequest createIndexRequest(String element) { Map<String, String> json = new HashMap<>(); json.put("data", element); return Requests.indexRequest() .index("my_index") .type("my_type") .source(json); } @Override public void process(String element, RuntimeContext ctx, RequestIndexer indexer) { indexer.add(createIndexRequest(element)); } }); DataStream<String> mysqlSource = ... // create MySQL source // add Elasticsearch sink to MySQL source mysqlSource.addSink(esSinkBuilder.build()); env.execute("MySQL to Elasticsearch Example"); } } ``` 以上就是一个简单的 Apache Flink + MySQL + Elasticsearch 同步示例。需要注意的是,这只是一个简单的示例,实际项目中可能需要更复杂的处理逻辑和更高效的同步方案。 ### 回答2: Apache Flink是一个开源的流处理框架,而MySQL是一个关系型数据库,而Elasticsearch是一个分布式搜索和分析引擎。在这个场景中,我们希望将MySQL中的数据同步到Elasticsearch中,以便于实时搜索和分析。 为了实现这个目标,我们可以使用Flink提供的连接器和Elasticsearch的客户端库。具体来说,我们可以按以下步骤操作以完成同步任务。 首先,我们需要在我们的Flink Job中引入MySQL的连接器,并配置连接属性,以便连接到MySQL数据库。这样我们就可以从MySQL中读取数据。 接下来,我们可以使用Flink的Transformations操作对MySQL的数据进行处理和转换,以适应我们想要同步到Elasticsearch的数据结构。这可能涉及到数据的清洗、转换、过滤和聚合等操作。 然后,我们需要配置Elasticsearch的连接属性,在Flink Job中引入Elasticsearch的客户端库,并将数据写入到Elasticsearch中。为了提高性能,我们可以使用批量写入的方式,将一批数据一次性写入到Elasticsearch中。 在数据写入Elasticsearch之前,我们还可以对数据进行额外的转换和格式化操作,以适应Elasticsearch的索引结构。 最后,我们需要配置Flink Job的并行度和容错机制,以便保证任务的高可用性和性能。 通过以上步骤,我们就可以实现将MySQL中的数据实时同步到ElasticsearchDemo。这样一来,我们可以及时地从Elasticsearch中搜索和分析MySQL中的数据,提高数据的实时性和可用性。同时,Apache Flink提供的分布式计算能力可以保证任务的高性能和可扩展性。 ### 回答3: Apache Flink是一个开源的、高性能的流处理框架,而Elasticsearch是一个开源的分布式搜索和分析引擎。在实际的应用场景中,通常需要将数据从MySQL数据库同步到Elasticsearch进行搜索和分析,这可以通过Apache Flink实现。 实现Apache Flink与MySQL同步ElasticsearchDemo大致可以分为以下几个步骤: 1. 配置MySQL和Elasticsearch的连接信息:首先,我们需要在Apache Flink的应用程序中配置MySQL和Elasticsearch的连接信息,包括MySQL的url、用户名、密码,以及Elasticsearch的url和索引信息等。 2. 创建Flink DataStream:使用Apache Flink的DataStream API,我们可以从MySQL中读取数据并将其转换为DataStream。可以使用Flink提供的MySQL Connector来连接MySQL数据库,并使用sql查询语句获取数据。 3. 数据转换和处理:根据具体的业务需求,可以对从MySQL数据库中读取的数据进行转换和处理,例如过滤掉不需要的字段、数据格式转换等。 4. 将数据写入Elasticsearch:使用Flink提供的Elasticsearch Connector,可以将处理后的数据写入Elasticsearch中的指定索引。可以根据需要设置Elasticsearch的索引类型、分区、副本等配置。 5. 启动Flink应用程序:将Flink应用程序打包,并在Flink集群中启动该应用程序,即可开始同步MySQL数据到Elasticsearch。 通过上述步骤,我们可以实现Apache Flink与MySQL的数据同步到Elasticsearch,从而提供实时的搜索和分析能力。同时,通过Flink的流处理能力,可以保证同步过程的高性能和低延迟,适用于大规模数据的处理和分析。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值