ELK
文章平均质量分 67
KKang@
这个作者很懒,什么都没留下…
展开
-
ELK+kafka分布式日志采集分析
kafka是一个发布订阅消息系统,由topic区分消息种类,每个topic中可以有多个partition,每个kafka集群有一个多个broker服务器组成,producer可以发布消息到kafka中,consumer可以消费kafka中的数据。kafka就是生产者和消费者中间的一个暂存区,可以保存一段时间的数据保证使用zookeeper作为解决分布式一致性问题的工具而被kafka依赖。而分布式模式,即去中心化的集群模式,需要让消费者知道现在有哪些生产者(对于消费者而言,kafka就是生产者)是可用的。如原创 2021-04-27 16:32:30 · 1462 阅读 · 0 评论 -
解决启动多个logstash的conf文件报错:Logstash could not be started because there is already another instance
1.报错信息Sending Logstash logs to /var/log/logstash which is now configured via log4j2.properties[2021-04-26T15:01:55,983][WARN ][logstash.config.source.multilocal] Ignoring the 'pipelines.yml' file because modules or command line options are specified[202原创 2021-04-26 15:35:48 · 1119 阅读 · 0 评论 -
logstash到kafka:生产者发送的消息过大的报错
1.报错提示KafkaProducer.send() failed: org.apache.kafka.common.errors.RecordBatchTooLargeException: The request included message batch larger than the configured segment size on the server. {:exception=>java.util.concurrent.ExecutionException: org.apache.k原创 2021-04-26 15:23:57 · 1332 阅读 · 0 评论 -
ELK---(五)启用xpack安全验证
[root@server1 ~]# cd /usr/share/elasticsearch/[root@server1 elasticsearch]# lsbin jdk lib LICENSE.txt modules NOTICE.txt plugins README.asciidoc[root@server1 elasticsearch]# bin/elasticsearch-certutil caThis tool assists you in the generation of原创 2021-04-02 19:39:40 · 356 阅读 · 0 评论 -
ELK-------(四)Filebeat日志采集器的部署
1 Filebeat的简介(1)Beats和filebeatfilebeat是Beats中的一员,Beats是一个轻量级日志采集器,Beats家族有6个成员,早期的ELK架构中使用Logstash收集、解析日志,但是Logstash对内存、cpu、io等资源消耗比较高。相比Logstash,Beats所占系统的CPU和内存几乎可以忽略不计。目前Beats包含六种工具:Packetbeat:网络数据(收集网络流量数据)Metricbeat:指标(收集系统、进程和文件系统级别的CPU和内存使用情况等数原创 2021-04-02 18:20:55 · 177 阅读 · 0 评论 -
ELK-----(三)Kibana 数据可视化平台的部署
vim /etc/kibana/kibana.ymlsystemctl start kibana.servicenetstat -antlp|grep :560logstash -f /etc/logstash/conf.d/apache.conffilebeat部署(1)Beats和filebeat、filebeat是Beats中的一员,Beats是一个轻量级日志采集器,Beats家族有6个成员,早期的ELK架构中使用Logstash收集、解析日志,但是原创 2021-04-02 17:41:36 · 137 阅读 · 0 评论 -
ELK------(二)Logstash的部署
1 logstash简介Elasticsearch是当前主流的分布式大数据存储和搜索引擎,可以为用户提供强大的全文本检索能力,广泛应用于日志检索,全站搜索等领域。Logstash作为Elasicsearch常用的实时数据采集引擎,可以采集来自不同数据源的数据,并对数据进行处理后输出到多种输出源,是Elastic Stack 的重要组成部分。1.1 Logstash的原理Logstash的数据处理过程主要包括:Inputs, Filters, Outputs 三部分, 另外在Inputs和Output原创 2021-04-02 17:41:25 · 671 阅读 · 0 评论 -
ELK----(一)Elasticsearch的部署
Elasticsearch的部署1. ELK是什么?2 Elasticsearch 简介3 elasticsearch的部署4 elasticsearch-head插件的部署5 elasticsearch节点角色6 节点的优化1. ELK是什么?官网:https://www.elastic.co/ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案,是三个产品的首字母缩写,分别是ElasticSearch、Logstash 和 KibanaElasticsearch是个开源分布式原创 2021-03-09 22:51:45 · 355 阅读 · 0 评论