Elasticsearch教程(七) elasticsearch Insert 插入数据(Java)

首先我不赞成再采用一些中间件(jar包)来解决和 Elasticsearch  之间的交互,比如 Spring-data-elasticsearch.jar 系列一样,用就得依赖它。而 Elasticsearch  本身的用法就是很简洁的,也很容易,只要稍微加一下封装,即可解决。下面上我的简单封装的批量处理。

 
  1. package com.sojson.core.elasticsearch.manager;
  2.  
  3. import java.util.ArrayList;
  4. import java.util.HashMap;
  5. import java.util.List;
  6. import java.util.Map;
  7.  
  8. import net.sf.json.JSONObject;
  9.  
  10. import org.elasticsearch.action.bulk.BulkRequestBuilder;
  11. import org.elasticsearch.action.bulk.BulkResponse;
  12. import org.elasticsearch.action.index.IndexRequestBuilder;
  13.  
  14. import com.sojson.common.utils.StringUtils;
  15. import com.sojson.core.elasticsearch.utils.ESTools;
  16.  
  17. public class InsertManager {
  18.  
  19. /**
  20. * 添加数据到Elasticsearch
  21. * @param index 索引
  22. * @param type 类型
  23. * @param idName Id字段名称
  24. * @param json 存储的JSON,可以接受Map
  25. * @return
  26. */
  27. public static Map save(String index, String type, String idName,JSONObject json) {
  28. List list = new ArrayList();
  29. list.add(json);
  30. return save(index, type, idName, list);
  31. }
  32.  
  33.  
  34. /**
  35. * 添加数据到Elasticsearch
  36. * @param index 索引
  37. * @param type 类型
  38. * @param idName Id字段名称
  39. * @param listData 一个对象集合
  40. * @return
  41. */
  42. @SuppressWarnings("unchecked")
  43. public static Map save(String index, String type, String idName,List listData) {
  44. BulkRequestBuilder bulkRequest = ESTools.client.prepareBulk().setRefresh(true);
  45. Map resultMap = new HashMap();
  46.  
  47.  
  48. for (Object object : listData) {
  49. JSONObject json = JSONObject.fromObject(object);
  50. //没有指定idName 那就让Elasticsearch自动生成
  51. if(StringUtils.isBlank(idName)){
  52. IndexRequestBuilder lrb = ESTools.client
                                                                .prepareIndex(index, type)
                                                                    .setSource(json);
  53. bulkRequest.add(lrb);
  54. }
  55. else{
  56. String idValue = json.optString(idName);
  57. IndexRequestBuilder lrb = ESTools.client
                                                                    .prepareIndex(index, type,idValue)
                                                                    .setSource(json);
  58. bulkRequest.add(lrb);
  59. }
  60.  
  61. }
  62.  
  63. BulkResponse bulkResponse = bulkRequest.execute().actionGet();
  64. if (bulkResponse.hasFailures()) {
  65. // process failures by iterating through each bulk response item
  66. System.out.println(bulkResponse.getItems().toString());
  67. resultMap.put("500", "保存ES失败!");
  68. return resultMap;
  69. }
  70. bulkRequest = ESTools.client.prepareBulk();
  71. resultMap.put("200", "保存ES成功!");
  72. return resultMap;
  73. }
  74. }


代码只能做测试使用,不能作为项目直接使用,请自己考虑风险,哈哈。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用elasticsearch-sql框架,可以通过以下步骤将SQL数据插入ES: 1. 创建一个ES索引,定义字段映射 2. 使用ES-SQL框架连接ES,执行SQL查询获取数据 3. 遍历查询结果,使用ES-SQL框架提供的API将数据插入ES 下面是一个示例代码,演示如何使用ES-SQL框架将SQL数据插入ES: ```java import io.github.iamazy.elasticsearch.dsl.sql.parser.SqlParser; import org.elasticsearch.action.bulk.BulkRequest; import org.elasticsearch.action.bulk.BulkResponse; import org.elasticsearch.client.RequestOptions; import org.elasticsearch.client.RestHighLevelClient; import org.elasticsearch.index.query.QueryBuilders; import org.elasticsearch.rest.RestStatus; import org.elasticsearch.search.builder.SearchSourceBuilder; import org.nlpcn.es4sql.exception.SqlParseException; import org.nlpcn.es4sql.query.QueryAction; import org.nlpcn.es4sql.query.SqlElasticRequestBuilder; import java.io.IOException; import java.sql.*; public class SqlToEs { // 定义ES索引名称 private static final String INDEX_NAME = "my_index"; // 定义ES连接客户端 private RestHighLevelClient client; // 定义SQL查询语句 private String sql = "SELECT * FROM my_table WHERE id > 100"; public SqlToEs() { // 初始化ES连接客户端 client = new RestHighLevelClient(); } public void insert() throws SQLException, IOException, SqlParseException { // 解析SQL查询语句 SqlParser sqlParser = new SqlParser(); QueryAction queryAction = sqlParser.parseSelect(sql); // 构建ES查询请求 SqlElasticRequestBuilder requestBuilder = queryAction.explain(); SearchSourceBuilder sourceBuilder = requestBuilder.getSourceBuilder(); sourceBuilder.query(QueryBuilders.matchAllQuery()); String query = sourceBuilder.toString(); // 执行SQL查询获取数据 Connection conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/my_database", "user", "password"); Statement stmt = conn.createStatement(); ResultSet rs = stmt.executeQuery(query); // 遍历查询结果,将数据插入ES BulkRequest request = new BulkRequest(); while (rs.next()) { // 创建一个ES文档 Map<String, Object> document = new HashMap<>(); document.put("id", rs.getInt("id")); document.put("name", rs.getString("name")); document.put("age", rs.getInt("age")); // 添加到批量请求中 request.add(new IndexRequest(INDEX_NAME).source(document)); } // 执行批量请求 BulkResponse bulkResponse = client.bulk(request, RequestOptions.DEFAULT); if (bulkResponse.status() == RestStatus.OK) { System.out.println("数据插入成功!"); } } } ``` 这里使用ES-SQL框架解析SQL查询语句,并构建ES查询请求。然后执行SQL查询获取数据,并遍历查询结果,将数据插入ES。最后使用ES客户端执行批量请求,将数据插入ES。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值