OpenSearch 学习(1)

最新推荐文章于 2024-06-20 00:58:18 发布

2401_84185397

最新推荐文章于 2024-06-20 00:58:18 发布

阅读量782

点赞数 24

文章标签：学习

本文链接：https://blog.csdn.net/2401_84185397/article/details/138236345

版权

本文介绍了如何在OpenSearch环境中修改localhost为虚拟机IP，处理SSL证书问题，以及如何使用Java代码进行索引操作，包括创建、插入、更新和删除数据，以及通过dev-tools检查数据。

摘要由CSDN通过智能技术生成

修改localhost为你的opensearch虚拟机ip, 代码中新建了一个index添加了一条数据又将其删掉了 index也删掉了自己可以注释掉后面的删除代码通过dashboard的dev-tools(下面介绍) 执行dql查看数据是否写入opensearch

这里证书相关的配置会报错注释掉

//        System.setProperty("javax.net.ssl.trustStore", "");
//        System.setProperty("javax.net.ssl.trustStorePassword", "");

直接访问虚拟机ip:9200端口提示不安全点击继续前往输入上面的admin账户和密码

点击证书无效这个按钮

导出到找随便一个路径起名xxx.cer

管理员身份打开win系统的cmd命令行找到自己的java环境变量路径不知道的可以电脑设置里查看高级系统设置

cd到security目录下我的路径为C:\Program Files\Java\jdk1.8.0_241\jre\lib\security在这里执行

keytool -import -alias abc -keystore cacerts -file D://abc.cer

D://abc.cer就是刚才导出的xxx.cer的路径

显示是否信任此证书输入Y 像下面这样就ok

再次运行代码报错

Caused by: javax.net.ssl.SSLPeerUnverifiedException: Host name ‘192.168.177.129’ does not match the certificate subject provided by the peer (CN=node-0.example.com, OU=node, O=node, L=test, DC=de)
at org.apache.http.nio.conn.ssl.SSLIOSessionStrategy.verifySession(SSLIOSessionStrategy.java:217)

此时修改windows的hosts文件添加

虚拟机ip node-0.example.com 比如下面这样火绒安全工具就可以修改

再将代码中框柱的位置改为node-0.example.com 再次运行没有报错

利用Dashboard 侧边栏底下的dev-tools可以查看添加的数据

右边就是查出来的数据

3 结合代码增删改查

可以将索引(index)认为是数据库映射(mapping)认为是字段

创建测试索引 mapping中途不能改变但是可以增加

put test_index
{
		"mappings": {
			"properties": {
				"group_create_time": {
					"type": "date",
					"format": "yyyy-MM-dd HH:mm:ss"
				},
				"log_group_name": {
					"type": "keyword"
				},
				"log_stream": {
				  "type":"nested",
					"properties": {
						"create_time": {
							"type": "date",
							"format": "yyyy-MM-dd HH:mm:ss"
						},
						"deploy_type": {
							"type": "keyword"
						},
						"log_path": {
							"type": "text"
						},
						"log_stream_name": {
							"type": "keyword"
						},
						"server_ip": {
							"type": "keyword"
						},
						"status":{
						  "type":"keyword"
						}
					}
				}
			}
		}
}

java代码实现

    public String testIndex(String indexName,HashMap mapping) {
        CreateIndexRequest request = new CreateIndexRequest(indexName);
        request.settings(Settings.builder()
                .put("index.number_of_shards", 4)
                .put("index.number_of_replicas", 3));
        request.mapping(mapping);
        try {
            CreateIndexResponse createIndexResponse = client.indices().create(request, RequestOptions.DEFAULT); // client 为RestHighLevelClient 提前设置好连接opensearch的参数 直接注入的
            return Boolean.toString(createIndexResponse.isAcknowledged());
        } catch (IOException e) {
            e.printStackTrace();
        }
        return "error happened!";
    }

插入测试数据

POST test_index/_doc
{
  "log_group_name" : "heihei",
          "group_create_time" : "2022-08-15 16:25:30",
          "log_stream" : [
            {
              "server_ip" : "192.168.177.128",
              "log_stream_name" : "111",
              "create_time" : "2022-08-15 16:25:30",
              "log_path" : "/path/to/log",
              "deploy_type" : "vm",
              "status" : "stoped"
            },
            {
              "server_ip" : "192.168.177.128",
              "log_stream_name" : "22",
              "create_time" : "2022-08-15 16:25:30",
              "log_path" : "/path/to/log",
              "deploy_type" : "vm",
              "status" : "stoped"
            }
          ]
        }
}

查看添加的数据

# 查看数据 size指定返回条数 默认10条
GET test_index/_search
{
  "size": 20
}

# 查看映射
GET test_index/_mapping

查看数据得到的结果

{
  "took" : 864,     // 耗时单位为毫秒
  "timed_out" : false,     // 是否超时
  "_shards" : {     // 分片信息的统计。total表示总共参与搜索的分片数
    "total" : 1,    // 共参与搜索的分片数
    "successful" : 1,  // 成功搜索的分片数
    "skipped" : 0, // 跳过搜索的分片数（比如搜索操作只涉及了一个分片，那么就没有被跳过的分片
    "failed" : 0   // 失败的分片数
  },
  "hits" : { // 关于搜索命中结果的信息
    "total" : { // 命中结果信息
      "value" : 3,  // 命中结果的总数
      "relation" : "eq" // 表示比较符号（这里是“eq”表示等于）。
    },
    "max_score" : 1.0,     // 最高得分，得分是评估文档与查询匹配程度的指标
    "hits" : [   // 具体命中的文档信息
      {
        "_index" : "test_index", // 文档所在的索引
        "_type" : "_doc",         // 文档所属的类型
        "_id" : "SbhIj4cBfnlzLPVVITje", // 文档的唯一标识
        "_score" : 1.0,          // 文档的得分
        "_source" : {             // 文档的原始内容，即被索引的数据。
          "log_group_name" : "88888",
          "group_create_time" : "2022-08-15 16:25:30",
          "log_stream" : [
            {
              "server_ip" : "192.168.177.128",
              "log_stream_name" : "xxxxxxxxxxxxxxxxxxxxxxxxxxxx",
              "create_time" : "2022-08-15 16:25:30",
              "log_path" : "/path/to/log",
              "deploy_type" : "vm"
            },
            {
              "server_ip" : "192.168.177.128",
              "log_stream_name" : "111",
              "create_time" : "2022-08-15 16:25:30",
              "log_path" : "/path/to/log",
              "deploy_type" : "vm"
            },
            {
              "server_ip" : "192.168.177.128",
              "log_stream_name" : "222",
              "create_time" : "2022-08-15 16:25:30",
              "log_path" : "/path/to/log",
              "deploy_type" : "vm"
            }
          ]
        }
      },
      {
        "_index" : "test_index",
        "_type" : "_doc",
        "_id" : "TbhIj4cBfnlzLPVVwTgl",
        "_score" : 1.0,
        "_source" : {
          "log_group_name" : "hahaha",
          "group_create_time" : "2022-08-15 16:25:30",
          "log_stream" : [
            {
              "server_ip" : "192.168.177.128",
              "log_stream_name" : "111",
              "create_time" : "2022-08-15 16:25:30",
              "log_path" : "/path/to/log",
              "deploy_type" : "vm",
              "status" : "stop"
            },
            {
              "server_ip" : "192.168.177.128",
              "log_stream_name" : "22",
              "create_time" : "2022-08-15 16:25:30",
              "log_path" : "/path/to/log",
              "deploy_type" : "vm",
              "status" : "stoped"
            }
          ]
        }
      },
      {
        "_index" : "test_index",
        "_type" : "_doc",
        "_id" : "w7hhj4cBfnlzLPVVqjin",
        "_score" : 1.0,
        "_source" : {
          "log_group_name" : "heihei",
          "group_create_time" : "2022-08-15 16:25:30",
          "log_stream" : [
            {
              "server_ip" : "192.168.177.128",
              "log_stream_name" : "111",
              "create_time" : "2022-08-15 16:25:30",
              "log_path" : "/path/to/log",
              "deploy_type" : "vm",
              "status" : "stoped"
            },
            {
              "server_ip" : "192.168.177.128",
              "log_stream_name" : "22",
              "create_time" : "2022-08-15 16:25:30",
              "log_path" : "/path/to/log",
              "deploy_type" : "vm",
              "status" : "stoped"
            }
          ]
        }
      }
    ]
  }
}

向其中的log_stream添加数据 "ctx._source.log_stream.add(params)这句脚本意思是向_source下面的log_stream映射添加元素params

POST test_index/_update/ITZfjocBwd7nfRg9WjsH
{
  "script": {
    "source": "ctx._source.log_stream.add(params)",
    "params": 
    {
        "create_time": "2022-08-15 16:25:30",
        "deploy_type": "vm",
        "log_path": "/path/to/log",
        "log_stream_name": "8888",
        "server_ip": "192.168.177.128"
      }
  }
}

public String addLogStream(LogStreamDTO logStream) {
        try {
            HashMap<String, String> sourceMap = new HashMap<>(16);
            sourceMap.put("create_time", logStream.getCreateTime());
            sourceMap.put("deploy_type", logStream.getType());
            sourceMap.put("log_path", logStream.getPath());
            sourceMap.put("log_stream_name", logStream.getName());
            sourceMap.put("server_ip", logStream.getIp());
            sourceMap.put("status", logStream.getStatus());
            UpdateRequest updateRequest = new UpdateRequest("test_index", "_doc", logStream.getLogGroupId());
            Map<String, Object> parameters = new HashMap<>();
            parameters.put("item", sourceMap);
            Script script = new Script(ScriptType.INLINE, "painless", "ctx._source.log_stream.add(params.item)", parameters);
            updateRequest.script(script);
            UpdateResponse updateResponse = client.update(updateRequest, RequestOptions.DEFAULT);
            log.debug("updateResponse: " + updateResponse);
            int failed = updateResponse.getShardInfo().getFailed();
            if (failed==0){
                return "success";
            }
            return "error";
        } catch (IOException e) {
            e.printStackTrace();
            return "error";
        }
    }

删除log_stream映射中名字为test的数据删除了无法复原

POST test_index/_update/
{
  "script": {
    "source": "ctx._source.log_stream.removeIf(item -> item.log_stream_name == params.log_stream_name)",
    "params": {
      "log_stream_name": "test"
    }
  }
}

  public String deleteLogStream(String id, String logStreamName) {
        UpdateRequest updateRequest = new UpdateRequest("test_index", id)
                .script(new Script(
                        ScriptType.INLINE, "painless",
                        "ctx._source.log_stream.removeIf(item -> item.log_stream_name == params.log_stream_name)",
                        Collections.singletonMap("log_stream_name", logStreamName)
                ));
        try {
            UpdateResponse updateResponse = client.update(updateRequest, RequestOptions.DEFAULT);
            log.debug("updateResponse: " + updateResponse);
            if (updateResponse.getShardInfo().getFailed() == 0) {


![img](https://img-blog.csdnimg.cn/img_convert/244ed373f43095c6383c3e4412f500a4.png)
![img](https://img-blog.csdnimg.cn/img_convert/c30da5c518fec3d4f7bbd2ee36291b04.png)
![img](https://img-blog.csdnimg.cn/img_convert/d821fc609688b9b2914ba8eb6d30b71e.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

onse);
            if (updateResponse.getShardInfo().getFailed() == 0) {


[外链图片转存中...(img-WlUWnOkT-1714158668597)]
[外链图片转存中...(img-SXx58aA3-1714158668597)]
[外链图片转存中...(img-XebNzqJ0-1714158668597)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

2401_84185397

关注

24
点赞
踩
16

收藏

觉得还不错? 一键收藏
0
评论
OpenSearch 学习(1)

修改localhost为你的opensearch虚拟机ip, 代码中新建了一个index添加了一条数据又将其删掉了 index也删掉了自己可以注释掉后面的删除代码通过dashboard的dev-tools(下面介绍) 执行dql查看数据是否写入opensearch这里证书相关的配置会报错注释掉直接访问虚拟机ip:9200端口提示不安全点击继续前往输入上面的admin账户和密码点击证书无效这个按钮导出到找随便一个路径起名xxx.cer。
复制链接

扫一扫