elasticsearch
文章平均质量分 63
Mumunu-
这个作者很懒,什么都没留下…
展开
-
ES5节点假死,内核日志报INFO: task blocked for more than 120 seconds.
es集群里有一台机器,突然cpu load飙到 21左右(8core cpu),但是cpu使用率会变成0,且同时io 等使用率全部变为0.这种状态不可以自己恢复,除非重启。es没有判断出节点有问题,整个集群不可以访问,所有操作都超时,包括cat集群信息等接口,直到重启机器。这种情况下节点已经死了,但是节点还能够响应其master发出的transport ping消息,master不会将其从集群摘除。网上搜索一下资料,有两种场景。看一下关闭NUMA是否能解决你的问题,如果不行的化,再考虑是否是xfs的问题。原创 2023-03-09 15:50:22 · 2100 阅读 · 2 评论 -
各种es语句
尽量在kibana里查询。命令行curl 不是很方便。查询所有不存在某个字段名称的数据。查询所有存在某个字段名称的数据。原创 2023-03-03 17:20:18 · 238 阅读 · 0 评论 -
使用logstash迁移es数据
【代码】使用logstash迁移es数据。原创 2023-03-03 11:34:36 · 1132 阅读 · 0 评论 -
flink-sql-1.15.4配置hive catalog和hbase基于CDH6.3.2和kerberos
使用flink源码重新编译生成flink-sql-connector-hive-2.2.0_2.11,编译之前需要修改flink-sql-connector-hive-2.2.0中的pom文件,将hive-exec的版本改成2.1.1-cdh6.3.2。位置在flink-connectors/flink-sql-connector-hive-2.2.0/flink-sql-connector-hive-2.2.0_2.12-1.15.3.jar。有大佬能解决望赐教。java 我的版本和cdh使用的一致。原创 2023-02-02 15:56:23 · 1279 阅读 · 3 评论 -
Elasticsearch GC优化实践
近期业务查询线上ES集群出现频繁超时告警,尤其是早晨某个时间点固定的报一波超时,从调用链监控上很难看出是什么业务行为导致的。原创 2022-11-22 15:46:56 · 1814 阅读 · 0 评论 -
Elasticsearch7.17.5 集群安装部署和部署账密
修改 /etc/security/limits.d/20-nproc.conf。废话不多说 es应该查这文章的都了解,分发节点之类的简单操作就默认大家都会了。修改 /etc/security/limits.conf。重启一下服务器,刷新一下配置。修改/etc/sysctl.conf。原创 2022-11-04 16:16:23 · 2005 阅读 · 0 评论 -
ElasticSearch读写底层原理及性能调优
有很多场景是,我们的 ES 集群占用了多大的 cpu 使用率,该如何调节呢。cpu 使用率高,有可能是写入导致的,也有可能是查询导致的,那要怎么查看呢?可以先通过 GET _nodes/{node}/hot_threads 查看线程栈,查看是哪个线程占用 cpu 高,如果是 elasticsearch[{node}][search][T#10] 则是查询导致的,如果是 elasticsearch[{node}][bulk][T#1] 则是数据写入导致的。...原创 2022-08-17 18:41:38 · 275 阅读 · 0 评论 -
elasticsearch7使用elasticdump将数据导出json文件
调研了一些es的工具,最后选取了esdump,这个最方便测试了一下 ,6版本也可以使用首先安装npm 安装最新版就行了官网:Download | Node.js下载这个包然后安装elasticdumpnpm install elasticdump命令目录在npm文件夹里常用的句子elasticdump - npm这是官网 有更详细的例子......原创 2022-06-20 18:31:02 · 1280 阅读 · 0 评论 -
Kibana7.8.1内存配置调整
kibana默认的内存是1.4g 查询速度基本上跟kibana的内存无关。一般占用的内存也不多 。不过要是富裕的话也可以调一下嘛Kibana配置打开Kibana运行文件vi kibana/bin/kibana在最后一行前面加上一行,修改node.js最大内存空间NODE_OPTIONS="${NODE_OPTIONS:=--max-old-space-size=8192}"就是加在这里...原创 2021-08-16 11:23:22 · 3069 阅读 · 0 评论 -
elasticsearch 设置多少分片合适
大多数ElasticSearch用户在创建索引时通用会问的一个重要问题是:我需要创建多少个分片?在本文中, 我将介绍在分片分配时的一些权衡以及不同设置带来的性能影响. 如果想搞清晰你的分片策略以及如何优化,请继续往下阅读.为什么要考虑分片数分片分配是个很重要的概念, 很多用户对如何分片都有所疑惑, 当然是为了让分配更合理. 在生产环境中, 随着数据集的增长, 不合理的分配策略可能会给系统的扩展带来严重的问题.同时, 这方面的文档介绍也非常少. 很多用户只想要明确的答案而不仅仅一个数字范围,原创 2021-06-21 14:13:34 · 3034 阅读 · 2 评论 -
Elastic stack7.8.1启用安全认证,启用https,TLS,SSL 安全配置详解
文章目录简介 启用Elasticsearch安全特性 配置传输层TLS/SSL加密传输 设置内置用户密码 配置HTTP层TLS/SSL加密传输 配置Kibana到Elasticsearch的校验 生成PKI客户端证书 配置Kibana到Elasticsearch的校验 配置Kibana UI的SSL加密传输 简介对生产环境的Elasticsearch集群开启安全特性是必要的,而Elastic Stack已经提供了基于X-PACK的安全能力。X-Pack是Elasticse原创 2020-12-31 15:09:09 · 7245 阅读 · 13 评论 -
使用curl命令操作elasticsearch
第一:_cat系列_cat系列提供了一系列查询elasticsearch集群状态的接口。你可以通过执行curl -XGET localhost:9200/_cat获取所有_cat系列的操作=^.^=/_cat/allocation/_cat/shards/_cat/shards/{index}/_cat/master/_cat/nodes/_cat/indices/_cat/...原创 2019-02-26 16:17:26 · 903 阅读 · 0 评论 -
生产环境elasticsearch的配置建议
以下主要来自官方文档,主要分为几块:硬件方面内存CPU硬盘网络其他操作系统较大的文件描述符设置MMap管理工具JVM虚拟机请不要调整JVM设置请不要修改垃圾收集器给lucene留下一半的内存空间不要超过32G避免过大的使用内存swapping是性能的死穴ES参数配置禁止调整线程池设置集群和节点名称设置路径设置minimum_master_nodes设...原创 2019-01-11 10:54:02 · 1997 阅读 · 0 评论 -
elasticsearch常用查询语句
复制索引数据到另外一个索引中:POST _reindex{“source”: {“index”: “ihr-baseinfo”},“dest”: {“index”: “songmingqi-test”}}删除索引中全部数据:POST songmingqi-test/baseinfo/_delete_by_query?conflicts=proceed{“query”:...原创 2019-01-11 10:50:01 · 703 阅读 · 0 评论 -
elasticsearch慢查询监控优化策略
监控目标 1. 在elasticsearch配置文件上添加慢查询日志和慢索引配置 2. 使用kibana监测elasticsearch慢查询日志的生成,使用logstash抽取日志的方式,有慢查询日志生成,就以邮件告警的方式提醒。 3. 使用zabbix分别监控集群的状态、CPU、进程数、磁盘读写性能、JVM使用。同时还要监控elasticsearch中分片的状态。达到某个临界值,就以邮件告...原创 2019-01-11 10:46:09 · 1075 阅读 · 0 评论