大数据最全OpenSearch 学习,【面试必会

img
img

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

keytool -import -alias abc -keystore cacerts -file D://abc.cer

D://abc.cer就是刚才导出的xxx.cer的路径

显示 是否信任此证书 输入Y 像下面这样就ok

再次运行代码 报错

Caused by: javax.net.ssl.SSLPeerUnverifiedException: Host name ‘192.168.177.129’ does not match the certificate subject provided by the peer (CN=node-0.example.com, OU=node, O=node, L=test, DC=de)
    at org.apache.http.nio.conn.ssl.SSLIOSessionStrategy.verifySession(SSLIOSessionStrategy.java:217)

此时修改windows的hosts文件添加

虚拟机ip node-0.example.com 比如下面这样 火绒安全工具就可以修改

再将代码中框柱的位置改为node-0.example.com 再次运行 没有报错

利用Dashboard 侧边栏底下的dev-tools可以查看添加的数据

右边就是查出来的数据

3 结合代码 增删改查

可以将索引(index)认为是数据库 映射(mapping)认为是字段

创建测试索引 mapping中途不能改变但是可以增加

put test_index
{
		"mappings": {
			"properties": {
				"group_create_time": {
					"type": "date",
					"format": "yyyy-MM-dd HH:mm:ss"
				},
				"log_group_name": {
					"type": "keyword"
				},
				"log_stream": {
				  "type":"nested",
					"properties": {
						"create_time": {
							"type": "date",
							"format": "yyyy-MM-dd HH:mm:ss"
						},
						"deploy_type": {
							"type": "keyword"
						},
						"log_path": {
							"type": "text"
						},
						"log_stream_name": {
							"type": "keyword"
						},
						"server_ip": {
							"type": "keyword"
						},
						"status":{
						  "type":"keyword"
						}
					}
				}
			}
		}
}

java代码实现

    public String testIndex(String indexName,HashMap mapping) {
        CreateIndexRequest request = new CreateIndexRequest(indexName);
        request.settings(Settings.builder()
                .put("index.number_of_shards", 4)
                .put("index.number_of_replicas", 3));
        request.mapping(mapping);
        try {
            CreateIndexResponse createIndexResponse = client.indices().create(request, RequestOptions.DEFAULT); // client 为RestHighLevelClient 提前设置好连接opensearch的参数 直接注入的
            return Boolean.toString(createIndexResponse.isAcknowledged());
        } catch (IOException e) {
            e.printStackTrace();
        }
        return "error happened!";
    }

插入测试数据

POST test_index/_doc
{
  "log_group_name" : "heihei",
          "group_create_time" : "2022-08-15 16:25:30",
          "log_stream" : [
            {
              "server_ip" : "192.168.177.128",
              "log_stream_name" : "111",
              "create_time" : "2022-08-15 16:25:30",
              "log_path" : "/path/to/log",
              "deploy_type" : "vm",
              "status" : "stoped"
            },
            {
              "server_ip" : "192.168.177.128",
              "log_stream_name" : "22",
              "create_time" : "2022-08-15 16:25:30",
              "log_path" : "/path/to/log",
              "deploy_type" : "vm",
              "status" : "stoped"
            }
          ]
        }
}

查看添加的数据

# 查看数据 size指定返回条数 默认10条
GET test_index/_search
{
  "size": 20
}

# 查看映射
GET test_index/_mapping

查看数据得到的结果

{
  "took" : 864,     // 耗时单位为毫秒
  "timed_out" : false,     // 是否超时
  "_shards" : {     // 分片信息的统计。total表示总共参与搜索的分片数
    "total" : 1,    // 共参与搜索的分片数
    "successful" : 1,  // 成功搜索的分片数
    "skipped" : 0, // 跳过搜索的分片数(比如搜索操作只涉及了一个分片,那么就没有被跳过的分片
    "failed" : 0   // 失败的分片数
  },
  "hits" : { // 关于搜索命中结果的信息
    "total" : { // 命中结果信息
      "value" : 3,  // 命中结果的总数
      "relation" : "eq" // 表示比较符号(这里是“eq”表示等于)。
    },
    "max_score" : 1.0,     // 最高得分,得分是评估文档与查询匹配程度的指标
    "hits" : [   // 具体命中的文档信息
      {
        "_index" : "test_index", // 文档所在的索引
        "_type" : "_doc",         // 文档所属的类型
        "_id" : "SbhIj4cBfnlzLPVVITje", // 文档的唯一标识
        "_score" : 1.0,          // 文档的得分
        "_source" : {             // 文档的原始内容,即被索引的数据。
          "log_group_name" : "88888",
          "group_create_time" : "2022-08-15 16:25:30",
          "log_stream" : [
            {
              "server_ip" : "192.168.177.128",
              "log_stream_name" : "xxxxxxxxxxxxxxxxxxxxxxxxxxxx",
              "create_time" : "2022-08-15 16:25:30",
              "log_path" : "/path/to/log",
              "deploy_type" : "vm"
            },
            {
              "server_ip" : "192.168.177.128",
              "log_stream_name" : "111",
              "create_time" : "2022-08-15 16:25:30",
              "log_path" : "/path/to/log",
              "deploy_type" : "vm"
            },
            {
              "server_ip" : "192.168.177.128",
              "log_stream_name" : "222",
              "create_time" : "2022-08-15 16:25:30",
              "log_path" : "/path/to/log",
              "deploy_type" : "vm"
            }
          ]
        }
      },
      {
        "_index" : "test_index",
        "_type" : "_doc",
        "_id" : "TbhIj4cBfnlzLPVVwTgl",
        "_score" : 1.0,
        "_source" : {
          "log_group_name" : "hahaha",
          "group_create_time" : "2022-08-15 16:25:30",
          "log_stream" : [
            {
              "server_ip" : "192.168.177.128",
              "log_stream_name" : "111",
              "create_time" : "2022-08-15 16:25:30",
              "log_path" : "/path/to/log",
              "deploy_type" : "vm",
              "status" : "stop"
            },
            {
              "server_ip" : "192.168.177.128",
              "log_stream_name" : "22",
              "create_time" : "2022-08-15 16:25:30",
              "log_path" : "/path/to/log",
              "deploy_type" : "vm",
              "status" : "stoped"
            }
          ]
        }
      },
      {
        "_index" : "test_index",
        "_type" : "_doc",
        "_id" : "w7hhj4cBfnlzLPVVqjin",
        "_score" : 1.0,
        "_source" : {
          "log_group_name" : "heihei",
          "group_create_time" : "2022-08-15 16:25:30",
          "log_stream" : [
            {
              "server_ip" : "192.168.177.128",
              "log_stream_name" : "111",
              "create_time" : "2022-08-15 16:25:30",
              "log_path" : "/path/to/log",
              "deploy_type" : "vm",
              "status" : "stoped"
            },
            {
              "server_ip" : "192.168.177.128",
              "log_stream_name" : "22",
              "create_time" : "2022-08-15 16:25:30",
              "log_path" : "/path/to/log",
              "deploy_type" : "vm",
              "status" : "stoped"
            }
          ]
        }
      }
    ]
  }
}

向其中的log_stream添加数据 "ctx._source.log_stream.add(params)这句脚本意思是向_source下面的log_stream映射添加元素params

POST test_index/_update/ITZfjocBwd7nfRg9WjsH
{
  "script": {
    "source": "ctx._source.log_stream.add(params)",
    "params": 
    {
        "create_time": "2022-08-15 16:25:30",
        "deploy_type": "vm",
        "log_path": "/path/to/log",
        "log_stream_name": "8888",
        "server_ip": "192.168.177.128"
      }
  }
}
public String addLogStream(LogStreamDTO logStream) {
        try {
            HashMap<String, String> sourceMap = new HashMap<>(16);
            sourceMap.put("create_time", logStream.getCreateTime());
            sourceMap.put("deploy_type", logStream.getType());
            sourceMap.put("log_path", logStream.getPath());
            sourceMap.put("log_stream_name", logStream.getName());
            sourceMap.put("server_ip", logStream.getIp());
            sourceMap.put("status", logStream.getStatus());
            UpdateRequest updateRequest = new UpdateRequest("test_index", "_doc", logStream.getLogGroupId());
            Map<String, Object> parameters = new HashMap<>();
            parameters.put("item", sourceMap);
            Script script = new Script(ScriptType.INLINE, "painless", "ctx._source.log_stream.add(params.item)", parameters);
            updateRequest.script(script);
            UpdateResponse updateResponse = client.update(updateRequest, RequestOptions.DEFAULT);
            log.debug("updateResponse: " + updateResponse);
            int failed = updateResponse.getShardInfo().getFailed();
            if (failed==0){
                return "success";
            }
            return "error";
        } catch (IOException e) {
            e.printStackTrace();
            return "error";
        }
    }

删除log_stream映射中 名字为test的数据 删除了无法复原

POST test_index/_update/
{
  "script": {
    "source": "ctx._source.log_stream.removeIf(item -> item.log_stream_name == params.log_stream_name)",
    "params": {
      "log_stream_name": "test"
    }
  }
}
  public String deleteLogStream(String id, String logStreamName) {
        UpdateRequest updateRequest = new UpdateRequest("test_index", id)
                .script(new Script(
                        ScriptType.INLINE, "painless",
                        "ctx._source.log_stream.removeIf(item -> item.log_stream_name == params.log_stream_name)",
                        Collections.singletonMap("log_stream_name", logStreamName)
                ));
        try {
            UpdateResponse updateResponse = client.update(updateRequest, RequestOptions.DEFAULT);
            log.debug("updateResponse: " + updateResponse);
            if (updateResponse.getShardInfo().getFailed() == 0) {
                return "success";
            }
            return "error";
        } catch (Exception e) {
            e.printStackTrace();
            return "error";
        }
    }

删除数据

# 删除指定id的文档数据 ejR3focBYtMnlZCoQd1V为其id
DELETE log_group_manager/_doc/ejR3focBYtMnlZCoQd1V
#彻底删除索引 
DELETE test_index 

未完待续…

Configuring TLS certificates - OpenSearch documentation

img
img

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

index



未完待续....


[Configuring TLS certificates - OpenSearch documentation]( )






[外链图片转存中...(img-bpRr5YXz-1715750752179)]
[外链图片转存中...(img-tTidFlkz-1715750752179)]

**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值