![](https://img-blog.csdnimg.cn/20190918140213434.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
ELK
ELK
胖胖胖胖胖虎
这个作者很懒,什么都没留下…
展开
-
logstash input 添加多个kafka报错解决
[WARN ][org.apache.kafka.common.utils.AppInfoParser] Error registering AppInfo mbeanjavax.management.InstanceAlreadyExistsException: kafka.consumer:type=app-info,id=test-0logstash input 添加多个kafka会出现这个报错。是因为clientid唯一。换了N个版本kafka和logstash 网上也找不到解决方法 记录一转载 2021-12-22 17:22:51 · 1066 阅读 · 0 评论 -
logstash @timestamp相差8小时
input { file { path => "/usr/share/logstash/logstash-tutorial-dataset" type => "elasticsearch" start_position => "beginning" #从文件开始处读写 sincedb_path => "/usr/share/logstash/offset/test_feedback_06.access" }}filte.原创 2021-12-21 10:59:29 · 137 阅读 · 0 评论 -
elasticsearch-head 406 Not Acceptable
### 修改elasticsearch-head /usr/src/app/_site/vendor.js1. 6886行 /contentType: "application/x-www-form-urlencoded" 改成 contentType:"application/json;charset=UTF-8" 2. 7574行 var inspectData = s.contentType == "application/x-www-form-urlencoded" &&转载 2021-12-17 13:01:56 · 561 阅读 · 0 评论 -
es error master_not_discovered_exception 503
k8s es[root@k8s-node-01 elk-01]# kubectl get pod -n flinkNAME READY STATUS RESTARTS AGEes-cluster-master-6644f585cf-ds9lf 1/1 Running 0 7ses-cluster-master-6644f585cf原创 2021-12-03 09:47:32 · 792 阅读 · 0 评论 -
elasticsearch节点(角色)类型解释node.master和node.data
在生产环境下,如果不修改elasticsearch节点的角色信息,在高数据量,高并发的场景下集群容易出现脑裂等问题。默认情况下,elasticsearch集群中每个节点都有成为主节点的资格,也都存储数据,还可以提供查询服务。这些功能是由两个属性控制的。node.master和node.data默认情况下这两个属性的值都是true。下面详细介绍一下这两个属性的含义以及不同组合可以达到的效果。node.master:这个属性表示节点是否具有成为主节点的资格注意:此属性的值为true,并不意味着这个转载 2021-11-25 16:11:34 · 1907 阅读 · 0 评论 -
k8s es memory locking requested for elasticsearch process but memory is not locked
[root@hadoop03 elk-01]# kubectl get pods -n elkNAME READY STATUS RESTARTS AGEes-cluster-master-7bf6bb7d78-fq64j 0/1 Error 0 8m23s修改es配置变量:bootstrap.memory_lock=false原创 2021-11-25 10:05:03 · 1256 阅读 · 0 评论 -
Flink elasticsearch
public class ElasticSearchTest { public static void main(String[] args) throws Exception { StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnvironment(); environment.enableCheckpointing(5000L);原创 2021-08-29 10:20:52 · 240 阅读 · 0 评论 -
Elasticsearch 倒排索引
创建倒排索引,分为以下几步:1)创建文档列表:l lucene首先对原始文档数据进行编号(DocID),形成列表,就是一个文档列表2)创建倒排索引列表l 然后对文档中数据进行分词,得到词条。对词条进行编号,以词条创建索引。然后记录下包含该词条的所有文档编号(及其它信息)。谷歌之父–> 谷歌、之父倒排索引创建索引的流程:1) 首先把所有的原始数据进行编号,形成文档列表2) 把文档数据进行分词,得到很多的词条,以词条为索引。保存包含这些词条的文档的编号信息。搜索的过程:当用户输入.转载 2021-08-24 13:38:44 · 145 阅读 · 0 评论