分享
扫一扫
超级会员免费看
NIO4444
这个作者很懒，什么都没留下…
展开
-
ES系列：启动报错 memory locking requested for elasticsearch process but memory is not locked
官网的解释 是：发生系统swapping的时候ES节点的性能会非常差，也会影响节点的稳定性。所以要不惜一切代价来避免swapping。swapping会导致Java GC的周期延迟从毫秒级恶化到分钟，更严重的是会引起节点响应延迟甚至脱离集群。elasticsearch官网建议生产环境需要设置bootstrap.memory_lock: true。所以最好限制住elasticsearch占用的内存情况，可选少用swap。原创 2023-09-09 00:15:00 · 533 阅读 · 0 评论 -
ES系列：解决 handshake failed because connection reset
系统日志报错：原创 2023-02-24 23:16:43 · 687 阅读 · 0 评论 -
ES系列：kibana堆栈监测提示需要 `kibana_user` 和 `monitoring_user` 角色授予的权限
您无权访问 Monitoring。要使用 Monitoring，您同时需要 `kibana_user` 和 `monitoring_user` 角色授予的权限。如果您尝试访问专用监测集群，则这可能是因为该监测集群上未配置您登录时所用的用户帐户。2、部署了跨集群搜索remote node，kibana没有remote node。1、集群缺少 ingest节点或没有启动数据节点。1、增加 ingest节点或启动数据节点。2、kibana配置remote节点。原创 2023-02-24 22:56:47 · 789 阅读 · 0 评论 -
ES系列：7.x证书过期简单解决方法
ES系列：basic证书有效期、证书申请、官方说明。原创 2023-02-23 00:45:00 · 880 阅读 · 0 评论 -
ES系列：basic证书有效期、证书申请、官方说明
https://license.elastic.co/registration原创 2023-02-18 21:06:50 · 682 阅读 · 0 评论 -
ES系列：ES集群搭建问题：memory locking requested for elasticsearch process but memory is not locked
关闭bootstrap.memory_lock:，会影响性能。/etc/security/limits.conf，添加。/etc/systemd/system.conf，添加。重启操作系统、重启ES。原创 2023-02-12 15:54:07 · 414 阅读 · 0 评论 -
ES系列：ES启动报错解决 cannot assign requested address:bind
ES启动报错解决 cannot assign requested address:bind原创 2023-02-12 15:50:15 · 595 阅读 · 0 评论 -
ES系列：查看node节点roles角色
一个node可以同时具有多种角色。原创 2022-12-23 12:15:18 · 963 阅读 · 0 评论 -
ES系列：解决Cannot invoke org.elasticsearch.search.aggregations.InternalAggregations.getSerializedSize()
目录现象原因解决kibana报错原创 2022-12-12 01:00:00 · 765 阅读 · 0 评论 -
ES系列：基于磁盘容量的分配策略
是否开启基于磁盘的分配策略，默认为true，表示开启。原创 2022-12-01 21:25:12 · 730 阅读 · 0 评论 -
ES系列：查询索引，指定需要的列、排序、格式化、统一单位
【代码】ES系列：查询索引，指定需要的列、排序、格式化、统一单位。原创 2022-11-28 00:45:00 · 277 阅读 · 0 评论 -
ES系列：多个配置模板，优先级设置
目录ES6实现方式ES7实现方式说明ES6实现方式order 越大，优先级越高PUT _template/my_template{ "order": 0, "index_patterns": [ "*" ], "settings": { "number_of_shards": 1, "number_of_replicas": 2 }, "mappings": { "my_type": { .原创 2022-05-19 00:45:00 · 1140 阅读 · 0 评论 -
ES专题：ES常见问题及其解决方法一览
基础ES的3大核心功能是哪些?索引如何修改索引名又不丢失数据？集群如何下线某个节点机器?性能优化如何根据硬件不同，做不同的读写方案？原创 2022-04-17 16:28:38 · 1063 阅读 · 0 评论 -
ES系列：ES的3大核心功能
ES的3大核心功能是指什么？存储搜索分析原创 2022-04-17 16:23:48 · 839 阅读 · 0 评论 -
ES系列：修改索引名，又不丢失数据的两种方法
这个非常简单，使用重命名方法即可。例子将索引testindex-old修改为testindex-newPOST _aliases{ "actions": [ { "add": { "index": "testindex-old", "alias": "testindex-new" } } ]}原创 2022-04-10 10:33:53 · 12706 阅读 · 0 评论 -
ES系列：停用集群中的节点
目录下线方法按IP下线按id下线按name下线验证方法下线方法按IP下线PUT _cluster/settings{ "transient": { "cluster.routing.allocation.exclude._ip": "节点ip" }}按id下线PUT _cluster/settings{ "transient": { "cluster.routing.allocation.exclude._id": "节点原创 2022-04-16 10:15:00 · 785 阅读 · 0 评论 -
ES系列：字段类型不对时，如何保存文档到索引
目录简述实现方法例子注意事项简述通常情况下，如果一个字段的数据类型不对，ES将会拒绝整个文档。实现方法ES提供字段的ignore_malformed参数：如何本字段类型不对，只是本字段不保存，其他字段会正常保存。例子PUT log-2022.04.11{ "mappings": { "properties": { "number1": { "type": "integer", "igno...原创 2022-04-12 11:45:00 · 777 阅读 · 0 评论 -
ES系列：根据机器性能，分离写入查询节点方案
目标机器性能较强的节点：用来做 indexing建立索引机器性能较强的节点：用来做搜索用途原创 2022-04-09 10:50:16 · 2149 阅读 · 0 评论 -
ES系列：不同的数据源同义字段，如何统一查询
目录现状改造字段查询结构现状数据来自不同的数据源，从而导致数据字段名称的不一致。比如level、log_level都是日志等级。如何方便统计呢？POST logs_server1/_doc/{ "level": "info"} POST logs_server2/_doc/{ "log_level": "info"}改造字段使用 alias 数据类型。都别名为log.level{ "logs_server1" : {原创 2022-03-30 13:30:00 · 380 阅读 · 0 评论 -
ES系列：别名_alias的查询、创建、修改、新增、删除
目录查询所有别名搜索别名创建别名创建别名(带条件)新增索引时，添加别名查询所有别名GET /nio4444/_alias/*GET /_alias搜索别名GET /_alias/city_*检查别名是否存在HEAD /_alias/alias1存在返回200 OK创建别名PUT /nio4444/_alias/alias_nio4444创建别名(带条件)PUT nio4444/_alias/city_nio4444原创 2022-03-26 11:24:39 · 3590 阅读 · 0 评论 -
ES系列：一个索引最多多少个字段？一个字段最多长？深度呢？
目录一个索引最多字段数一个字段的层级最大深度一个字段的最大长度一个索引最多字段数ES索引允许的最大字段数量：1000.参数：index.mapping.total_fields.limit一个字段的层级最大深度20参数：index.mapping.depth.limit一个字段的最大长度Long.MAX_VALUE参数：index.mapping.field_name_length.limit...原创 2022-03-27 07:45:00 · 4130 阅读 · 0 评论 -
ES系列：range范围查询使用举例
目录数据范围时间范围完整日期方式字母日期方式数据范围range过滤允许我们按照指定范围查找一批数据{ "range": { "age": { "gte": 20, "lt": 30 } } }gt :: 大于gte:: 大于等于lt :: 小于lte:: 小于等于时间范围完整日期方式 "query": {原创 2022-02-17 21:00:30 · 8454 阅读 · 0 评论 -
ES系列： Dynamic的三种情况（推荐使用true）
原创 2022-02-06 17:31:29 · 2427 阅读 · 1 评论 -
ES系列：ES使用script脚本方法（拼接字段举例）
目录效果代码ES 7.0+测试效果代码GET twitter/_search { "script_fields": { "my_script": { "script": { "lang": "painless", "source": "doc['country.keyword'].value +'_' + doc['city.keyword'].value + '_CSDN_NIO4444' "原创 2022-02-06 16:59:10 · 3851 阅读 · 0 评论 -
ES系列：ES API查询，结果只返回指定字段方法
关键字：_source使用demo（只返回city、user两个字段）：GET twitter/_search?q=city:Beijing GB{ "_source": ["city","user"], "profile": true}原创 2022-02-06 16:44:15 · 4062 阅读 · 1 评论 -
ES系列：为什么要指定查询字段（字符串、加引号、加括号使用区别）
目录泛查询举例：精确查询举例：字符串查询"Beijing GB" 、Beijing GB、（Beijing GB）三者的区别有哪些？本文下面进行例子说明：泛查询举例：精确查询举例：字符串查询keyword完整匹配，city只能是字符串："A B"A B=city是A，B在任意字段中(A B)=city是A || city是B 。...原创 2022-02-06 16:39:26 · 1532 阅读 · 0 评论 -
ES系列：解决Cluster state has not been recovered yet, cannot write to the [null] index问题
ES启动报错：ERROR: [1] bootstrap checks failed. You must address the points described in the following [1] lines before starting Elasticsearch.bootstrap check failure [1] of [1]: max file descriptors [4096] for elasticsearch process is too low, increase to原创 2022-01-30 22:42:42 · 3752 阅读 · 0 评论 -
ES系列：（多个字段组合）聚合查询使用方法
聚合查询查询指定时间范围内，某个字段出现的次数（去重）value_count: 计数cardinality: 去重计数avg: 平均值sum: 求和max: 最大值min: 最小值percentiles: 百分比top_hits： 简单来说就是聚合分组后从每一个组取部分数据作为结果返回{ "query": { "bool": { "filter": [ { "range": { ..原创 2021-10-04 22:14:32 · 3854 阅读 · 0 评论 -
ES系列：max_bytes_length_exceeded_exception: bytes can be at most 32766 in length
目录现象原因分析：解决方法现象max_bytes_length_exceeded_exception: bytes can be at most 32766 in length原因分析：原因是keyword类型某个字段的值太长，而Search每个keyword类型的field默认能接受的长度为32766个字节，当超过32766个字节时，会抛异常解决方法使用ignore_above用于设置超过设定字符后，不被索引或者存储，无法通过term精确匹配检索返回结果，主原创 2021-10-03 10:00:00 · 2280 阅读 · 0 评论 -
ES系列：节点默认限制分片数
Elasticsearch v7.0.0 开始，集群中的每个节点默认限制 1000 个shard原创 2021-08-27 20:22:15 · 1860 阅读 · 0 评论 -
Flink系列：flink1.11 sink写入es7.10（附带ES密码验证）
目录效果demo.txtpom代码实现Flink2EsGsonUtilPersonESSinkUtilHDRestClientFactory效果demo.txt1,text-1,102,text-2,203,text-3,30pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" .原创 2021-04-11 22:52:13 · 1451 阅读 · 0 评论 -
ES系列：Cluster state has not been recovered yet, cannot write to the [null] index
目录现象分析处理参考现象配置X-Pack设置es用户密码时爆如下错误或设置其他配置时遇到日志中bug分析查看elasticsearch.yml中参数是否设置为主节点：cluster.initial_master_nodes: [“node”]处理“node”=要设置为主节点的名称如果是单机，设置本机即可参考设置elasticsearch 7.x用户名和密码：https://blog.csdn.net/VIP099/article...原创 2021-04-11 18:19:18 · 1951 阅读 · 0 评论 -
Flink系列：es启动报错，elasticsearch.service start operation timed out. Terminating.
目录现象分析重启验证现象分析查看超时时间设置vi /usr/lib/systemd/system/elasticsearch.service修改为300systemctl daemon-reloadsystemctl start elasticsearch.service重启验证http://192.168.40.148:9200/...原创 2021-04-11 14:30:59 · 1876 阅读 · 0 评论 -
ES系列：什么是倒排索引（为什么叫倒排索引）
目录文档列表倒排索引列表倒排索引创建索引的流程搜索的过程文档列表ES先对原始doc文件进行编号倒排索引列表对文档中数据进行分词，得到词条。对词条进行编号，以词条创建索引。 然后记录下包含该词条的所有文档编号（这样就建立了词条和doc文件之间的关系）倒排索引创建索引的流程1） 首先把所有的原始数据进行编号，形成文档列表2） 把文档数据进行分词，得到很多的词条，以词条为索引。保存包含这些词条的文档的编号信息。搜索的过程当用户输入任.原创 2021-04-05 22:39:21 · 889 阅读 · 1 评论 -
ES系列：Kibana server is not ready yet
目录现象解决方法现象Kibana server is not ready yet解决方法curl -u es用户名:密码-XDELETE localhost:9200/_xpack/security/privilege/kibana-.kibana/space_allcurl -u es用户名:密码 -XDELETE localhost:9200/_xpack/security/privilege/kibana-.kibana/space_read...原创 2021-03-23 00:51:42 · 315 阅读 · 0 评论 -
ES系列：设置elasticsearch 7.x用户名和密码
目录修改elasticsearch.yml重启设置初始化密码设置成功标志验证密码修改elasticsearch.ymlhttp.cors.enabled: truehttp.cors.allow-origin: "*"http.cors.allow-headers: Authorizationxpack.security.enabled: truexpack.security.transport.ssl.enabled: true重启systemc...原创 2021-03-23 00:41:35 · 1627 阅读 · 0 评论 -
ES系列：Kibana 7.10 安装详细步骤
下载https://www.elastic.co/cn/downloads/past-releases#kibana安装rpm -ivh kibana-7.10.2-x86_64.rpmsystemctl stop firewalld.servicesystemctl disable firewalld.servicesudo systemctl daemon-reloadsudo systemctl enablekibana.servicesu...原创 2021-03-23 00:20:03 · 537 阅读 · 1 评论 -
ES系列：elasticsearch7.10安装详细步骤
目录前提下载ES7安装ES7检查状态前提安装JDK（Linux安装JDK1.8最简单的方式）：https://blog.csdn.net/VIP099/article/details/105641678下载ES7https://www.elastic.co/cn/downloads/elasticsearch-no-jdk安装ES7rpm -ivh elasticsearch-7.10.2-x86_64.rpmsudo systemctl..原创 2021-03-22 23:40:31 · 514 阅读 · 1 评论 -
ES系列：Elasticsearch index read-only 问题解决办法（ES磁盘满或满扩容之后处理）
现象ES 容器的 json.log 日志文件中不断有大量日志，主要是：[FORBIDDEN/12/indexread-only/ allow delete (api)]原因没有及时清理旧的索引数据，导致磁盘空间不足，进而触发了 ES 自身基于磁盘的分片策略。索引中read_only_allow_delete 值为 true ，需要将其设置为 false 来解除索引只读限制。PUT _settings { "index":{ "blocks":{...原创 2020-06-18 20:17:21 · 6164 阅读 · 0 评论 -
监控系统技术栈
数据采集：zabbix、filebeat、promethues数据传输：flink、logstash数据存储：elastic、kafka、mysql前端展示：Grafana、kibana、自研、告警通知：邮件、微信、电话原创 2020-06-18 20:09:45 · 651 阅读 · 0 评论