ELK+kafka+filebeat7

于 2024-08-27 08:56:03 发布
阅读量877 收藏 19
点赞数 20
文章标签： elk kafka 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85125162/article/details/141587880
版权

cluster_uuid 显示出来—>启动成功

5.安装配置head监控插件（Web前端）----只需要安装一台就可以了。10.8.161.5

1）安装node

此处版本号可不做要求

[root@es-3-head-kib ~]# wget https://npm.taobao.org/mirrors/node/latest-v4.x/node-v4.4.7-linux-x64.tar.gz
[root@es-3-head-kib ~]# tar -zxf node-v4.4.7-linux-x64.tar.gz –C /usr/local
[root@es-3-head-kib ~]# vim /etc/profile   #添加如下变量
NODE_HOME=/usr/local/node-v4.4.7-linux-x64
PATH=$NODE_HOME/bin:$PATH
export NODE_HOME PATH
[root@es-3-head-kib ~]# source /etc/profile
[root@es-3-head-kib ~]# node --version  #检查node版本号
v4.4.7

（2）下载head插件

[root@es-3-head-kib ~]# wget https://github.com/mobz/elasticsearch-head/archive/master.zip
[root@es-3-head-kib ~]# cp master.zip /usr/local/
[root@es-3-head-kib ~]# yum -y install unzip
[root@es-3-head-kib ~]# cd /usr/local
[root@es-3-head-kib ~]# unzip  master.zip

（3）安装grunt

[root@es-3-head-kib ~]# cd elasticsearch-head-master/
[root@mes-3-head-kib elasticsearch-head-master]# npm install -g grunt-cli  #时间会很长


[root@es-3-head-kib elasticsearch-head-master]# grunt --version  #检查grunt版本号
grunt-cli v1.3.2

（4）修改head源码

[root@es-3-head-kib elasticsearch-head-master]# vim /usr/local/elasticsearch-head-master/Gruntfile.js   （95左右）

添加hostname，注意在上一行末尾添加逗号,hostname 不需要添加逗号

[root@es-3-head-kib elasticsearch-head-master]# vim /usr/local/elasticsearch-head-master/_site/app.js     (4359左右)

如果在一台机器上面可以不修改下面的操作。保持原来的就可以了

如果是集群需要修改如下信息:改为es的IP地址，集群的话加上主节点IP地址即可

原本是http://localhost:9200 ，如果head和ES不在同一个节点，注意修改成ES的IP地址

（5）下载head必要的文件

[root@es-3-head-kib ~]# wget https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@es-3-head-kib ~]# yum -y install bzip2
[root@es-3-head-kib ~]# tar -jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /tmp/  #解压

（6）运行head

[root@es-3-head-kib ~]# cd /usr/local/elasticsearch-head-master/
[root@es-3-head-kib ~]# npm config set registry https://registry.npm.taobao.org  #配置淘宝的npm源地址
[root@es-3-head-kib elasticsearch-head-master]# npm install  
...
grunt-contrib-jasmine@1.0.3 node_modulees/grunt-contrib-jasmine
├── sprintf-js@1.0.3
├── lodash@2.4.2
├── es5-shim@4.5.13
├── chalk@1.1.3 (escape-string-regexp@1.0.5, supports-color@2.0.0, ansi-styles@2.2.1, strip-ansi@3.0.1, has-ansi@2.0.0)
├── jasmine-core@2.99.1
├── rimraf@2.6.3 (glob@7.1.4)
└── grunt-lib-phantomjs@1.1.0 (eventemitter2@0.4.14, semver@5.7.0, temporary@0.0.8, phan
[root@es-3-head-kib elasticsearch-head-master]# 



[root@es-3-head-kib elasticsearch-head-master]# tail -f nohup.out 
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

（7）测试

访问 :10.8.161.8.5:9100

2、 Kibana部署

1. 安装配置Kibana

（1）安装

[root@es-3-head-kib ~]# tar zvxf kibana-7.8.0-linux-x86_64.tar.gz -C /usr/local/

（2）配置

[root@es-3-head-kib ~]# cd /usr/local/kibana-6.5.4-linux-x86_64/config/
[root@es-3-head-kib config]# vim kibana.yml
server.port: 5601
server.host: "10.8.161.5"
server.name: "kibana"
elasticsearch.hosts: ["http://10.8.161.2:9200"] #ES主节点地址+端口(7.8版本写法)
kibana.index: ".kibana"

配置项含义：

server.port kibana 服务端口，默认5601
server.host kibana 主机IP地址，默认localhost
elasticsearch.url  用来做查询的ES节点的URL，默认http://localhost:9200
kibana.index       kibana在Elasticsearch中使用索引来存储保存的searches, visualizations和dashboards，默认.kibana

（3）启动

[root@es-3-head-kib config]# cd ..

7.8版本启动
[root@es-3-head-kib kibana-6.5.4-linux-x86_64]# nohup ./bin/kibana --allow-root &
[root@es-3-head-kib kibana-6exit.5.4-linux-x86_64]# nohup: ignoring input and appending output to ‘nohup.out’

2. 安装配置Nginx反向代理

（1）配置YUM源：

[root@es-3-head-kib ~]# rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm

（2）安装：

[root@es-3-head-kib ~]# yum install -y nginx

（3）配置反向代理 ,此处对head配置的反向代理并未生效

[root@es-3-head-kib ~]# cd /etc/nginx/conf.d/
[root@es-3-head-kib conf.d]# cp default.conf nginx.conf
[root@es-3-head-kib conf.d]# mv default.conf default.conf.bak
[root@es-3-head-kib conf.d]# vim nginx.conf
[root@es-3-head-kib conf.d]# cat nginx.conf

server {
        listen       80;
        server_name  10.8.161.5;

         location / {
             proxy_pass http://10.8.161.5:5601;
             proxy_set_header Host $host:5601;
             proxy_set_header X-Real-IP $remote_addr;
             proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
             proxy_set_header Via "nginx";
                     }
         location /status {
             stub_status on; #开启网站监控状态
             access_log /var/log/nginx/kibana_status.log; #监控日志
             auth_basic "NginxStatus"; }

         location /head/{
             proxy_pass http://10.8.161.5:9100;
             proxy_set_header Host $host:9100;
             proxy_set_header X-Real-IP $remote_addr;
             proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
             proxy_set_header Via "nginx";
                         }
}

（4）配置nginx

1.将原来的log_format注释掉，添加json格式的配置信息，如下：
[root@es-3-head-kib conf.d]# vim /etc/nginx/nginx.conf
log_format  json '{"@timestamp":"$time_iso8601",'
                           '"@version":"1",'
                           '"client":"$remote_addr",'
                           '"url":"$uri",'
                           '"status":"$status",'
                           '"domain":"$host",'
                           '"host":"$server_addr",'
                           '"size":$body_bytes_sent,'
                           '"responsetime":$request_time,'
                           '"referer": "$http_referer",'
                           '"ua": "$http_user_agent"'
               '}';
2.引用定义的json格式的日志：
access_log  /var/log/nginx/access_json.log  json;

（5）启动nginx

[root@es-3-head-kib ~]# systemctl start nginx
浏览器访问http://10.8.161.5 刚开始没有任何数据，会提示你创建新的索引。

若kibana启用失败，可尝试先关闭kibana
再将head页面的

删除
再启用kibana

3、 Logstash部署----10.8.161.56

1.安装配置Logstash

Logstash运行同样依赖jdk，需要配置jdk环境

[root@es-2-zk-log ~]# tar -xvzf jdk-8u211-linux-x64.tar.gz  -C /usr/local/
[root@es-2-zk-log ~]# cd /usr/local/
[root@es-2-zk-log ~]# mv jdk1.8.0_211/ java
[root@es-2-zk-log ~]# vim /etc/profile
[root@es-2-zk-log elk_packages]# tail -3 /etc/profile
JAVA_HOME=/usr/local/java
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH

（1）安装

[root@es-2-zk-log ~]# tar xvzf logstash-6.5.4.tar.gz -C /usr/local/

（2）配置

创建目录，我们将所有input、filter、output配置文件全部放到该目录中。

1.安装nginx:
[root@es-2-zk-log ~]# rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
[root@es-2-zk-log ~]# yum install -y nginx
将原来的日志格式注释掉定义成json格式：
[root@es-2-zk-log conf.d]# vim /etc/nginx/nginx.conf
log_format  json '{"@timestamp":"$time_iso8601",'
                           '"@version":"1",'
                           '"client":"$remote_addr",'
                           '"url":"$uri",'
                           '"status":"$status",'
                           '"domain":"$host",'
                           '"host":"$server_addr",'
                           '"size":$body_bytes_sent,'
                           '"responsetime":$request_time,'
                           '"referer": "$http_referer",'
                           '"ua": "$http_user_agent"'
               '}';
2.引用定义的json格式的日志：
access_log  /var/log/nginx/access_json.log  json;

监控nginx和tomcat服务

给nginx和Tomcat定义不同的topic

分别定义索引为nginxqf和tomcatqf

[root@es-2-zk-log ~]# systemctl start nginx 
[root@es-2-zk-log ~]# systemctl enable nginx
浏览器多访问几次
[root@es-2-zk-log ~]# mkdir -p /usr/local/logstash-6.5.4/etc/conf.d
[root@es-2-zk-log ~]# cd /usr/local/logstash-6.5.4/etc/conf.d/   
#可定义名字为nginx.conf
[root@es-2-zk-log conf.d]# vim nginx.conf       #---在下面添加
input{
kafka{
    type => "nginxqf"
#    codec => "json
    topics => "nginx"
#    decorate_events => true
    bootstrap_servers => "10.8.161.2:9092, 10.8.161.5:9092, 10.8.161.56:9092"
    }

kafka{
    type => "tomcatqf"
    codec => "json"
    topics => "tomcat"
#   decorate_events => true
     bootstrap_servers => "10.8.161.2:9092, 10.8.161.5:9092, 10.8.161.56:9092"
        }

}


output{
    elasticsearch {
    hosts => ["10.8.161.2:9200"]
    index => ["%{type}-%{+YYYY.MM.dd}"]
    }
}


启动：
[root@es-2-zk-log conf.d]# cd /usr/local/logstash-7.8.0/
[root@es-2-zk-log logstash-7.8.0]# nohup bin/logstash -f etc/conf.d/  --config.reload.automatic &

查看日志的出现

[root@es-2-zk-log logstash-7.8.0]# tail -f nohup.out
[2019-08-04T01:39:24,671][INFO ][logstash.outputs.elasticsearch] Attempting to install template {:manage_template=>{"template"=>"logstash-*", "version"=>60001, "settings"=>{"index.refresh_interval"=>"5s"}, "mappings"=>{"_default_"=>{"dynamic_templates"=>[{"message_field"=>{"path_match"=>"message", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text", "norms"=>false}}}, {"string_fields"=>{"match"=>"*", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text", "norms"=>false, "fields"=>{"keyword"=>{"type"=>"keyword", "ignore_above"=>256}}}}}], "properties"=>{"@timestamp"=>{"type"=>"date"}, "@version"=>{"type"=>"keyword"}, "geoip"=>{"dynamic"=>true, "properties"=>{"ip"=>{"type"=>"ip"}, "location"=>{"type"=>"geo_point"}, "latitude"=>{"type"=>"half_float"}, "longitude"=>{"type"=>"half_float"}}}}}}}}
在浏览器中访问本机的nginx和tomcat的网站

然后去head插件页面查看是否有nginxqf和tomcatqf索引出现

发现之后，去配置kibana添加索引

选择时间戳，并创建索引

选择需要查看的话题

可以根据某个特定的值，来查看记录，比如

多刷新几次本机的nginx和tomcat页面，可以看到相应的日志记录，此处tomcat选用的是启动日志，当关闭或开启时，才会有日志产生

注意:如果进程关闭,页面将会访问失败，需要重启head,kibana,logstash

注意:如果出不来通过界面提示打开时间管理器，设置时间为本星期**

过程: 通过nginx的访问日志和tomcat的开启获取日志—>传输到logstach ----传输到–elasticsearch–传输到—kibana （通过nginix反代）

4、 Kafka部署

1.安装配置jdk8

（1）Kafka、Zookeeper（简称：ZK）运行依赖jdk8

tar zxvf /usr/local/package/jdk-8u121-linux-x64.tar.gz -C /usr/local/
echo '
JAVA_HOME=/usr/local/jdk1.8.0_121
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH
' >>/etc/profile
source /etc/profile

2.安装配置ZK

Kafka运行依赖ZK，Kafka官网提供的tar包中，已经包含了ZK，这里不再额下载ZK程序。

配置相互解析—三台机器（可不配置）

[root@es-2-zk-log ~]# vim /etc/hosts
10.8.161.2 mes-1
10.8.161.5 es-2-zk-log
10.8.161.56 es-3-head-kib

（1）安装

[root@es-2-zk-log ~]# tar xzvf kafka_2.11-2.1.0.tgz -C /usr/local/

（2）配置

第一台

[root@mes-1 ~]# sed -i 's/^[^#]/#&/' /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties  #注释
[root@mes-1 ~]# vim /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties  #添加如下配置
dataDir=/opt/data/zookeeper/data
dataLogDir=/opt/data/zookeeper/logs
clientPort=2181
tickTime=2000
initLimit=20
syncLimit=10
server.1=10.8.161.2:2888:3888 
server.2=10.8.161.5:2888:3888       
server.3=10.8.161.56:2888:3888

[root@mes-1 ~]# mkdir -p /opt/data/zookeeper/{data,logs}
#创建myid文件
[root@mes-1 ~]# echo 1 > /opt/data/zookeeper/data/myid    #myid号按顺序排 集群节点的标识，和server.*对应

第二台

[root@es-2-zk-log ~]# sed -i 's/^[^#]/#&/' /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties
[root@es-2-zk-log ~]# vim /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties
dataDir=/opt/data/zookeeper/data
dataLogDir=/opt/data/zookeeper/logs
clientPort=2181
tickTime=2000
initLimit=20
syncLimit=10
server.1=10.8.161.2:2888:3888 
server.2=10.8.161.5:2888:3888       
server.3=10.8.161.56:2888:3888


#创建data、log目录
[root@es-2-zk-log ~]# mkdir -p /opt/data/zookeeper/{data,logs}
#创建myid文件
[root@es-2-zk-log ~]# echo 2 > /opt/data/zookeeper/data/myid

第三台

[root@es-3 ~]# sed -i 's/^[^#]/#&/' /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties
[root@es-3-head-kib ~]# vim /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties
dataDir=/opt/data/zookeeper/data
dataLogDir=/opt/data/zookeeper/logs
clientPort=2181
tickTime=2000
initLimit=20
syncLimit=10
server.1=10.8.161.2:2888:3888 
server.2=10.8.161.5:2888:3888       
server.3=10.8.161.56:2888:3888

#创建data、log目录
[root@es-3-head-kib ~]# mkdir -p /opt/data/zookeeper/{data,logs}
#创建myid文件
[root@es-3-head-kib ~]# echo 3 > /opt/data/zookeeper/data/myid
配置项含义：

dataDir ZK数据存放目录。
dataLogDir  ZK日志存放目录。
clientPort  客户端连接ZK服务的端口。
tickTime        ZK服务器之间或客户端与服务器之间维持心跳的时间间隔。
initLimit       允许follower连接并同步到Leader的初始化（第一次）连接时间，当初始化连接时间超过该值，则表示连接失败。
syncLimit   Leader与Follower之间发送消息时如果follower在设置时间内不能与leader通信，那么此follower将会被丢弃。
server.1=172.16.244.31:2888:3888    2888是follower与leader交换信息的端口，3888是当leader挂了时用来执行选举时服务器相互通信的端口。

3.配置Kafka

（1）配置

第一台

[root@mes-1 ~]# sed -i 's/^[^#]/#&/' /usr/local/kafka_2.11-2.1.0/config/server.properties
[root@mes-1 ~]# vim /usr/local/kafka_2.11-2.1.0/config/server.properties  #在最后添加
broker.id=1
listeners=PLAINTEXT://10.8.161.2:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/data/kafka/logs
num.partitions=6
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=300000
zookeeper.connect=10.8.161.2:2181,10.8.161.5:2181,10.8.161.56:2181
zookeeper.connection.timeout.ms=6000


[root@mes-1 ~]# mkdir -p /opt/data/kafka/logs

第二台

[root@mes-1 ~]# sed -i 's/^[^#]/#&/' /usr/local/kafka_2.11-2.1.0/config/server.properties
[root@mes-1 ~]# vim /usr/local/kafka_2.11-2.1.0/config/server.properties  #在最后添加
broker.id=2
listeners=PLAINTEXT://10.8.161.5:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/data/kafka/logs
num.partitions=6
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=300000
zookeeper.connect=10.8.161.2:2181,10.8.161.5:2181,10.8.161.56:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0


[root@mes-1 ~]# mkdir -p /opt/data/kafka/logs

第三台

[root@es-3-head-kib ~]# sed -i 's/^[^#]/#&/' /usr/local/kafka_2.11-2.1.0/config/server.properties
[root@es-3-head-kib ~]# vim /usr/local/kafka_2.11-2.1.0/config/server.properties
broker.id=3
listeners=PLAINTEXT://10.8.161.56:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/data/kafka/logs
num.partitions=6
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=300000
zookeeper.connect=10.8.161.2:2181,10.8.161.5:2181,10.8.161.56:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0

[root@es-3-head-kib ~]# mkdir -p /opt/data/kafka/logs
配置项含义：

#每个server需要单独配置broker id，如果不配置系统会自动配置。
broker.id

#监听地址，格式PLAINTEXT://IP:端口。
listeners

#处理网络请求的线程数量，也就是接收消息的线程数。
num.network.threads

#消息从内存中写入磁盘是时候使用的线程数量。
num.io.threads

#发送套接字的缓冲区大小
socket.send.buffer.bytes

#当消息的尺寸不足时,server阻塞的时间,如果超时,
#消息将立即发送给consumer
socket.receive.buffer.bytes

服务器将接受的请求的最大大小(防止OOM)
socket.request.max.bytes

日志文件目录。
log.dirs

#topic在当前broker上的分片个数
num.partitions

#用来设置恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir

offsets.topic.replication.factor

#超时将被删除
log.retention.hours

#日志文件中每个segment的大小，默认为1G
log.segment.bytes

#上面的参数设置了每一个segment文件的大小是1G，那么
#就需要有一个东西去定期检查segment文件有没有达到1G，
#多长时间去检查一次，就需要设置一个周期性检查文件大小
#的时间（单位是毫秒）
log.retention.check.interval.ms

#ZK主机地址，如果zookeeper是集群则以逗号隔开
zookeeper.connect

#连接到Zookeeper的超时时间。
zookeeper.connection.timeout.ms

4、其他节点配置

只需把配置好的安装包直接分发到其他节点，Kafka的broker.id和listeners就可以了。

5、启动、验证ZK集群
（1）启动

在三个节点依次执行：

[root@mes-1 ~]# cd /usr/local/kafka_2.11-2.1.0/
[root@mes-1 kafka_2.11-2.1.0]# nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
（2）验证

查看端口

root@mes-1 ~]# netstat -lntp | grep 2181
tcp6       0      0 :::2181                 :::*                    LISTEN      1226/java
[root@mes-1 ~]# yum -y install nmap

[root@mes-1 ~]# echo stat | nc 127.0.0.1 2181

可用telnet测试端口，可直接测试其他服务器的端口，

telnet  IP地址  端口号

[root@mes-1 ~]#  telnet 127.0.0.1 2181
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
conf

6、启动、验证Kafka

（1）启动

在三个节点依次执行（所有节点均操作）：

[root@mes-1 ~]# cd /usr/local/kafka_2.11-2.1.0/
[root@mes-1 kafka_2.11-2.1.0]# nohup bin/kafka-server-start.sh config/server.properties &

（2）验证 是否有一致性

在10.8.161.5上创建topic

[root@es-2-zk-log kafka_2.11-2.1.0]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testtopic
Created topic "testtopic".
#  ReplicationFactor：副本个数。
# Partition：partition 编号，从 0 开始递增

在5.56上面查询10.8.161.5上的topic

[root@es-3-head-kib kafka_2.11-2.1.0]# bin/kafka-topics.sh --zookeeper 10.8.161.5:2181 --list
testtopic

模拟消息生产和消费 发送消息到10.8.161.5

[root@mes-1 kafka_2.11-2.1.0]# bin/kafka-console-producer.sh --broker-list 10.8.161.5:9092 --topic testtopic
>hello

从10.8.161.5接受消息

[root@es-2-zk-log kafka_2.11-2.1.0]# bin/kafka-console-consumer.sh --bootstrap-server  10.8.161.5:9092 --topic testtopic --from-beginning
hello
kafka没有问题之后，回到logstash服务器： #安装完kafka之后的操作：
[root@es-2-zk-log ~]# cd /usr/local/logstash-7.8.0/etc/conf.d/
[root@es-2-zk-log conf.d]# cp input.conf input.conf.bak
[root@es-2-zk-log conf.d]# vim nginx.conf
input{
kafka{
    type => "nginxqf"
#    codec => "json
    topics => "nginx"
#    decorate_events => true
    bootstrap_servers => "10.8.161.2:9092, 10.8.161.5:9092, 10.8.161.56:9092"
    }

kafka{
    type => "tomcatqf"
    codec => "json"
    topics => "tomcat"
#   decorate_events => true
     bootstrap_servers => "10.8.161.2:9092, 10.8.161.5:9092, 10.8.161.56:9092"
        }

}


output{
    elasticsearch {
    hosts => ["10.8.161.2:9200"]
    index => ["%{type}-%{+YYYY.MM.dd}"]
    }
}


启动 logstash
[root@es-2-zk-log conf.d]# cd /usr/local/logstash-6.5.4/
[root@es-2-zk-log logstash-7.8.0]# nohup bin/logstash -f etc/conf.d/  --config.reload.automatic &
5、Filebeat

（1）下载

（2）解压

2401_85125162
关注
  • 20
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【ELK+Kafka+filebeat分布式日志收集】docker部署elasticsearch和kafka (四）
阿杰
05-13 380
创建互联网络拉取镜像挂载目录授权启动容器修改配置文件。
ELK + Kafka + Filebeat学习
Remoa的休闲茶馆
09-09 8854
1、ELK + Kafka + Filebeat架构 2、为什么要使用ELK 3、验证流程：Filebeat->Logstash->Kafka->Logstash->Elasticsearch->Kibana
ELK+KAFKA+FILEBEAT
08-02
ELKF是 Elastic + Logstash + Kibana + FileBeat 四个组件的组合。本文基于elastic 6.1.1讲解一个基于日志文件的ELKF平台的搭建过程。 在这个系统中，Elastic充当一个搜索引擎，Logstash为日志分析上报系统，FileBeat为日志文件收集系统，Kibana为此系统提供可视化的Web界面
ELK+Kafka+Filebeat日志分析系统详细！！！
最新发布
m0_64422440的博客
07-13 1094
ElasticSearch是一个基于Lucene的开源分布式搜索服务。只搜索和分析日志特点：分布式，配置简洁，自动发现，索引自动分片，索引副本机制，多数据源等。它提供了一个分布式多用户能力的全文搜索引擎。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。在elasticsearch集群中，所有节点的数据是均等的。安装软件主机名IP地址系统版本mes-1-zk。
ELK+Kafka+Filebeat 企业内部日志分析系统（版本6.5.4）
hanjinjuan的博客
09-23 1274
一、ELK ELK:日志搜集平台 ELK由ElasticSearch、Logstash和Kibana三个开源工具组成： 1、组件介绍 （1）Elasticsearch ElasticSearch是一个基于Lucene的开源分布式搜索服务。只搜索和分析日志 特点：分布式，零配置，自动发现，索引自动分片，索引副本机制，多数据源等。它提供了一个分布式多用户能力的全文搜索引擎。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够
ELK + kafka + filebeat +kibana
weixin_33743703的博客
09-08 221
架构说明app-server(filebeat)->kafka->logstash->elasticsearch->kibana服务器用途说明系统基础环境 #cat/etc/redhat-release CentOSrelease6.5(Final) #uname-r 2.6.32-431.el6.x86_64 1...
ELK 7.5.0（十一）ELK+kafka+Filebeat
友人A的博客
12-24 388
一、实验环境 主机名 IP es 192.168.14.210 kibana 192.168.14.210 logstash 192.168.14.211 kafka 192.168.14.212 Filebeat 192.168.14.213 nginx 192.168.14.213 secure 192.168.14.213 ...
elk + kafka + filebeat搭建日志分析系统-附件资源
03-05
elk + kafka + filebeat搭建日志分析系统-附件资源
ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台
01-23
ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台，架构图解
StirngBoot+ELK+Kafka记录日志，超详细搭建过程！
01-20
【StirngBoot+ELK+Kafka记录日志】是一种高效、实时的日志收集、分析和展示解决方案，尤其适用于大型分布式系统。该系统通过整合SpringBoot应用的日志记录、Kafka的消息中间件、ELK(Elasticsearch、Logstash、Kibana...
部署ELK+Kafka+Filebeat日志收集分析系统
热门推荐
江晓龙的博客
08-16 2万+
ELK+Kafka+Filebeat日志系统 文章目录ELK+Kafka+Filebeat日志系统1.环境规划2.部署elasticsearch集群2.1.配置es-1节点2.2.配置es-2节点2.3.配置es-3节点2.4.使用es-head插件查看集群状态3.部署kibana4.部署zookeeper4.1.配置zookeeper-1节点4.2.配置zookeeper-2节点4.3.配置zookeeper-3节点4.4.启动所有节点5.部署kafka5.1.配置kafka-1节点5.2.配置kafka
ELK+FileBeat+Kafka分布式系统搭建图文教程.pdf
06-15
1.filebeat收集需要提取的日志文件，将日志文件转存到kafka集群中，logstash处理kafka日志，格式化处理，并将日志输出到elasticsearch中，前台页面通过kibana展示日志。 2.使用kafka集群做缓存层，而不是直接将filebeat收集到的日志信息写入logstash，让整体结构更健壮，减少网络环境，导致数据丢失。filebeat负责将收集到的数据写入kafka，logstash取出数据并处理。
企业级内部日志分析系统ELK+kafka+filebeat介绍
年轻秃了头的博客
01-30 667
一、ELK介绍 ELK由ElasticSearch、Logstash和Kibana三个开源工具组成： 1、ElasticSearch： ElasticSearch是一个基于Lucene的开源分布式搜索服务。只搜索和分析日志 特点：分布式，零配置，自动发现，索引自动分片，索引副本机制等。它提供了一个分布式多用户能力的全文搜索引擎。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方
超详细，elk+kafka+filebeat日志收集，filebeat收集的不同日志生成不同的topic，不同的topic生成不同的索引
zero_open的博客
04-23 1417
项目主机规划主机名外网IP安装软件所属集群elstacklogstashkafka。
kafka+ELK+filebeat
weixin_44328888的博客
10-09 566
文章目录Kafka(消息队列)1. 特性2. 组件3.kafka集群部署1). 安装Jdk,部署java环境.2). 部署kafka.(依赖->zookeeper)3). 部署filebeat.(业务环境)a. 部署logstash服务器b. 部署filebeat(新机器)c. 启动(先启动Logstash机器,再启动kafka生产数据 filebeat捕获数据)完成,在kibana中创建可...
ELK+kafka+filebeat企业内部日志分析系统
zbw0323的博客
03-02 1282
是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。注：以下为环境所需所有服务器，配置为测试环境配置。安装软件主机名IP地址系统版本配置Elk2核4GEs12核3GEs22核3GKafka11核2G。
elk+kafka+filebeat
06-28
elk+kafka+filebeat 是一种常见的数据处理和分析架构。ELK指的是Elasticsearch、Logstash和Kibana，它们分别用于数据存储、数据处理和数据可视化。Kafka是一个分布式流处理平台，用于处理大量的实时数据流。Filebeat...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值