ELK+kafka+filebeat7(1)

最新推荐文章于 2024-11-04 15:07:19 发布
最新推荐文章于 2024-11-04 15:07:19 发布
阅读量414 收藏 7
点赞数 3
文章标签： elk kafka 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85794744/article/details/141586769
版权
测试：浏览器访问

cluster_uuid 显示出来—>启动成功

5.安装配置head监控插件（Web前端）----只需要安装一台就可以了。10.8.161.5

1）安装node

此处版本号可不做要求

[root@es-3-head-kib ~]# wget https://npm.taobao.org/mirrors/node/latest-v4.x/node-v4.4.7-linux-x64.tar.gz
[root@es-3-head-kib ~]# tar -zxf node-v4.4.7-linux-x64.tar.gz –C /usr/local
[root@es-3-head-kib ~]# vim /etc/profile   #添加如下变量
NODE_HOME=/usr/local/node-v4.4.7-linux-x64
PATH=$NODE_HOME/bin:$PATH
export NODE_HOME PATH
[root@es-3-head-kib ~]# source /etc/profile
[root@es-3-head-kib ~]# node --version  #检查node版本号
v4.4.7

（2）下载head插件

[root@es-3-head-kib ~]# wget https://github.com/mobz/elasticsearch-head/archive/master.zip
[root@es-3-head-kib ~]# cp master.zip /usr/local/
[root@es-3-head-kib ~]# yum -y install unzip
[root@es-3-head-kib ~]# cd /usr/local
[root@es-3-head-kib ~]# unzip  master.zip

（3）安装grunt

[root@es-3-head-kib ~]# cd elasticsearch-head-master/
[root@mes-3-head-kib elasticsearch-head-master]# npm install -g grunt-cli  #时间会很长


[root@es-3-head-kib elasticsearch-head-master]# grunt --version  #检查grunt版本号
grunt-cli v1.3.2

（4）修改head源码

[root@es-3-head-kib elasticsearch-head-master]# vim /usr/local/elasticsearch-head-master/Gruntfile.js   （95左右）

添加hostname，注意在上一行末尾添加逗号,hostname 不需要添加逗号

[root@es-3-head-kib elasticsearch-head-master]# vim /usr/local/elasticsearch-head-master/_site/app.js     (4359左右)

如果在一台机器上面可以不修改下面的操作。保持原来的就可以了

如果是集群需要修改如下信息:改为es的IP地址，集群的话加上主节点IP地址即可

原本是http://localhost:9200 ，如果head和ES不在同一个节点，注意修改成ES的IP地址

（5）下载head必要的文件

[root@es-3-head-kib ~]# wget https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@es-3-head-kib ~]# yum -y install bzip2
[root@es-3-head-kib ~]# tar -jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /tmp/  #解压

（6）运行head

[root@es-3-head-kib ~]# cd /usr/local/elasticsearch-head-master/
[root@es-3-head-kib ~]# npm config set registry https://registry.npm.taobao.org  #配置淘宝的npm源地址
[root@es-3-head-kib elasticsearch-head-master]# npm install  
...
grunt-contrib-jasmine@1.0.3 node_modulees/grunt-contrib-jasmine
├── sprintf-js@1.0.3
├── lodash@2.4.2
├── es5-shim@4.5.13
├── chalk@1.1.3 (escape-string-regexp@1.0.5, supports-color@2.0.0, ansi-styles@2.2.1, strip-ansi@3.0.1, has-ansi@2.0.0)
├── jasmine-core@2.99.1
├── rimraf@2.6.3 (glob@7.1.4)
└── grunt-lib-phantomjs@1.1.0 (eventemitter2@0.4.14, semver@5.7.0, temporary@0.0.8, phan
[root@es-3-head-kib elasticsearch-head-master]# 



[root@es-3-head-kib elasticsearch-head-master]# tail -f nohup.out 
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

（7）测试

访问 :10.8.161.8.5:9100

2、 Kibana部署

1. 安装配置Kibana

（1）安装

[root@es-3-head-kib ~]# tar zvxf kibana-7.8.0-linux-x86_64.tar.gz -C /usr/local/

（2）配置

[root@es-3-head-kib ~]# cd /usr/local/kibana-6.5.4-linux-x86_64/config/
[root@es-3-head-kib config]# vim kibana.yml
server.port: 5601
server.host: "10.8.161.5"
server.name: "kibana"
elasticsearch.hosts: ["http://10.8.161.2:9200"] #ES主节点地址+端口(7.8版本写法)
kibana.index: ".kibana"

配置项含义：

server.port kibana 服务端口，默认5601
server.host kibana 主机IP地址，默认localhost
elasticsearch.url  用来做查询的ES节点的URL，默认http://localhost:9200
kibana.index       kibana在Elasticsearch中使用索引来存储保存的searches, visualizations和dashboards，默认.kibana

（3）启动

[root@es-3-head-kib config]# cd ..

7.8版本启动
[root@es-3-head-kib kibana-6.5.4-linux-x86_64]# nohup ./bin/kibana --allow-root &
[root@es-3-head-kib kibana-6exit.5.4-linux-x86_64]# nohup: ignoring input and appending output to ‘nohup.out’

2. 安装配置Nginx反向代理

（1）配置YUM源：

[root@es-3-head-kib ~]# rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm

（2）安装：

[root@es-3-head-kib ~]# yum install -y nginx

（3）配置反向代理 ,此处对head配置的反向代理并未生效

[root@es-3-head-kib ~]# cd /etc/nginx/conf.d/
[root@es-3-head-kib conf.d]# cp default.conf nginx.conf
[root@es-3-head-kib conf.d]# mv default.conf default.conf.bak
[root@es-3-head-kib conf.d]# vim nginx.conf
[root@es-3-head-kib conf.d]# cat nginx.conf

server {
        listen       80;
        server_name  10.8.161.5;

         location / {
             proxy_pass http://10.8.161.5:5601;
             proxy_set_header Host $host:5601;
             proxy_set_header X-Real-IP $remote_addr;
             proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
             proxy_set_header Via "nginx";
                     }
         location /status {
             stub_status on; #开启网站监控状态
             access_log /var/log/nginx/kibana_status.log; #监控日志
             auth_basic "NginxStatus"; }

         location /head/{
             proxy_pass http://10.8.161.5:9100;
             proxy_set_header Host $host:9100;
             proxy_set_header X-Real-IP $remote_addr;
             proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
             proxy_set_header Via "nginx";
                         }
}

（4）配置nginx

1.将原来的log_format注释掉，添加json格式的配置信息，如下：
[root@es-3-head-kib conf.d]# vim /etc/nginx/nginx.conf
log_format  json '{"@timestamp":"$time_iso8601",'
                           '"@version":"1",'
                           '"client":"$remote_addr",'
                           '"url":"$uri",'
                           '"status":"$status",'
                           '"domain":"$host",'
                           '"host":"$server_addr",'
                           '"size":$body_bytes_sent,'
                           '"responsetime":$request_time,'
                           '"referer": "$http_referer",'
                           '"ua": "$http_user_agent"'
               '}';
2.引用定义的json格式的日志：
access_log  /var/log/nginx/access_json.log  json;

（5）启动nginx

[root@es-3-head-kib ~]# systemctl start nginx
浏览器访问http://10.8.161.5 刚开始没有任何数据，会提示你创建新的索引。

若kibana启用失败，可尝试先关闭kibana
再将head页面的

删除
再启用kibana

3、 Logstash部署----10.8.161.56

1.安装配置Logstash

Logstash运行同样依赖jdk，需要配置jdk环境

[root@es-2-zk-log ~]# tar -xvzf jdk-8u211-linux-x64.tar.gz  -C /usr/local/
[root@es-2-zk-log ~]# cd /usr/local/
[root@es-2-zk-log ~]# mv jdk1.8.0_211/ java
[root@es-2-zk-log ~]# vim /etc/profile
[root@es-2-zk-log elk_packages]# tail -3 /etc/profile
JAVA_HOME=/usr/local/java
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH

（1）安装

[root@es-2-zk-log ~]# tar xvzf logstash-6.5.4.tar.gz -C /usr/local/

（2）配置

创建目录，我们将所有input、filter、output配置文件全部放到该目录中。

1.安装nginx:
[root@es-2-zk-log ~]# rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
[root@es-2-zk-log ~]# yum install -y nginx
将原来的日志格式注释掉定义成json格式：
[root@es-2-zk-log conf.d]# vim /etc/nginx/nginx.conf
log_format  json '{"@timestamp":"$time_iso8601",'
                           '"@version":"1",'
                           '"client":"$remote_addr",'
                           '"url":"$uri",'
                           '"status":"$status",'
                           '"domain":"$host",'
                           '"host":"$server_addr",'
                           '"size":$body_bytes_sent,'
                           '"responsetime":$request_time,'
                           '"referer": "$http_referer",'
                           '"ua": "$http_user_agent"'
               '}';
2.引用定义的json格式的日志：
access_log  /var/log/nginx/access_json.log  json;

监控nginx和tomcat服务

给nginx和Tomcat定义不同的topic

分别定义索引为nginxqf和tomcatqf

[root@es-2-zk-log ~]# systemctl start nginx 
[root@es-2-zk-log ~]# systemctl enable nginx
浏览器多访问几次
[root@es-2-zk-log ~]# mkdir -p /usr/local/logstash-6.5.4/etc/conf.d
[root@es-2-zk-log ~]# cd /usr/local/logstash-6.5.4/etc/conf.d/   
#可定义名字为nginx.conf
[root@es-2-zk-log conf.d]# vim nginx.conf       #---在下面添加
input{
kafka{
    type => "nginxqf"
#    codec => "json
    topics => "nginx"
#    decorate_events => true
    bootstrap_servers => "10.8.161.2:9092, 10.8.161.5:9092, 10.8.161.56:9092"
    }

kafka{
    type => "tomcatqf"
    codec => "json"
    topics => "tomcat"
#   decorate_events => true
     bootstrap_servers => "10.8.161.2:9092, 10.8.161.5:9092, 10.8.161.56:9092"
        }

}


output{
    elasticsearch {
    hosts => ["10.8.161.2:9200"]
    index => ["%{type}-%{+YYYY.MM.dd}"]
    }
}


启动：
[root@es-2-zk-log conf.d]# cd /usr/local/logstash-7.8.0/
[root@es-2-zk-log logstash-7.8.0]# nohup bin/logstash -f etc/conf.d/  --config.reload.automatic &

查看日志的出现

[root@es-2-zk-log logstash-7.8.0]# tail -f nohup.out
[2019-08-04T01:39:24,671][INFO ][logstash.outputs.elasticsearch] Attempting to install template {:manage_template=>{"template"=>"logstash-*", "version"=>60001, "settings"=>{"index.refresh_interval"=>"5s"}, "mappings"=>{"_default_"=>{"dynamic_templates"=>[{"message_field"=>{"path_match"=>"message", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text", "norms"=>false}}}, {"string_fields"=>{"match"=>"*", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text", "norms"=>false, "fields"=>{"keyword"=>{"type"=>"keyword", "ignore_above"=>256}}}}}], "properties"=>{"@timestamp"=>{"type"=>"date"}, "@version"=>{"type"=>"keyword"}, "geoip"=>{"dynamic"=>true, "properties"=>{"ip"=>{"type"=>"ip"}, "location"=>{"type"=>"geo_point"}, "latitude"=>{"type"=>"half_float"}, "longitude"=>{"type"=>"half_float"}}}}}}}}
在浏览器中访问本机的nginx和tomcat的网站

然后去head插件页面查看是否有nginxqf和tomcatqf索引出现

发现之后，去配置kibana添加索引

选择时间戳，并创建索引

选择需要查看的话题

可以根据某个特定的值，来查看记录，比如

多刷新几次本机的nginx和tomcat页面，可以看到相应的日志记录，此处tomcat选用的是启动日志，当关闭或开启时，才会有日志产生

注意:如果进程关闭,页面将会访问失败，需要重启head,kibana,logstash

注意:如果出不来通过界面提示打开时间管理器，设置时间为本星期**

过程: 通过nginx的访问日志和tomcat的开启获取日志—>传输到logstach ----传输到–elasticsearch–传输到—kibana （通过nginix反代）

4、 Kafka部署

1.安装配置jdk8

（1）Kafka、Zookeeper（简称：ZK）运行依赖jdk8

tar zxvf /usr/local/package/jdk-8u121-linux-x64.tar.gz -C /usr/local/
echo '
JAVA_HOME=/usr/local/jdk1.8.0_121
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH
' >>/etc/profile
source /etc/profile

2.安装配置ZK

Kafka运行依赖ZK，Kafka官网提供的tar包中，已经包含了ZK，这里不再额下载ZK程序。

配置相互解析—三台机器（可不配置）

[root@es-2-zk-log ~]# vim /etc/hosts
10.8.161.2 mes-1
10.8.161.5 es-2-zk-log
10.8.161.56 es-3-head-kib

（1）安装

[root@es-2-zk-log ~]# tar xzvf kafka_2.11-2.1.0.tgz -C /usr/local/

（2）配置

第一台

[root@mes-1 ~]# sed -i 's/^[^#]/#&/' /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties  #注释
[root@mes-1 ~]# vim /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties  #添加如下配置
dataDir=/opt/data/zookeeper/data
dataLogDir=/opt/data/zookeeper/logs
clientPort=2181
tickTime=2000
initLimit=20
syncLimit=10
server.1=10.8.161.2:2888:3888 
server.2=10.8.161.5:2888:3888       
server.3=10.8.161.56:2888:3888

[root@mes-1 ~]# mkdir -p /opt/data/zookeeper/{data,logs}
#创建myid文件
[root@mes-1 ~]# echo 1 > /opt/data/zookeeper/data/myid    #myid号按顺序排 集群节点的标识，和server.*对应

第二台

[root@es-2-zk-log ~]# sed -i 's/^[^#]/#&/' /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties
[root@es-2-zk-log ~]# vim /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties
dataDir=/opt/data/zookeeper/data
dataLogDir=/opt/data/zookeeper/logs
clientPort=2181
tickTime=2000
initLimit=20
syncLimit=10
server.1=10.8.161.2:2888:3888 
server.2=10.8.161.5:2888:3888       
server.3=10.8.161.56:2888:3888


#创建data、log目录
[root@es-2-zk-log ~]# mkdir -p /opt/data/zookeeper/{data,logs}
#创建myid文件
[root@es-2-zk-log ~]# echo 2 > /opt/data/zookeeper/data/myid

第三台

[root@es-3 ~]# sed -i 's/^[^#]/#&/' /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties
[root@es-3-head-kib ~]# vim /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties
dataDir=/opt/data/zookeeper/data
dataLogDir=/opt/data/zookeeper/logs
clientPort=2181
tickTime=2000
initLimit=20
syncLimit=10
server.1=10.8.161.2:2888:3888 
server.2=10.8.161.5:2888:3888       
server.3=10.8.161.56:2888:3888

#创建data、log目录
[root@es-3-head-kib ~]# mkdir -p /opt/data/zookeeper/{data,logs}
#创建myid文件
[root@es-3-head-kib ~]# echo 3 > /opt/data/zookeeper/data/myid
配置项含义：

dataDir ZK数据存放目录。
dataLogDir  ZK日志存放目录。
clientPort  客户端连接ZK服务的端口。
tickTime        ZK服务器之间或客户端与服务器之间维持心跳的时间间隔。
initLimit       允许follower连接并同步到Leader的初始化（第一次）连接时间，当初始化连接时间超过该值，则表示连接失败。
syncLimit   Leader与Follower之间发送消息时如果follower在设置时间内不能与leader通信，那么此follower将会被丢弃。
server.1=172.16.244.31:2888:3888    2888是follower与leader交换信息的端口，3888是当leader挂了时用来执行选举时服务器相互通信的端口。

3.配置Kafka

（1）配置

第一台

[root@mes-1 ~]# sed -i 's/^[^#]/#&/' /usr/local/kafka_2.11-2.1.0/config/server.properties
[root@mes-1 ~]# vim /usr/local/kafka_2.11-2.1.0/config/server.properties  #在最后添加
broker.id=1
listeners=PLAINTEXT://10.8.161.2:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/data/kafka/logs
num.partitions=6
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=300000
zookeeper.connect=10.8.161.2:2181,10.8.161.5:2181,10.8.161.56:2181
zookeeper.connection.timeout.ms=6000


[root@mes-1 ~]# mkdir -p /opt/data/kafka/logs

第二台

[root@mes-1 ~]# sed -i 's/^[^#]/#&/' /usr/local/kafka_2.11-2.1.0/config/server.properties
[root@mes-1 ~]# vim /usr/local/kafka_2.11-2.1.0/config/server.properties  #在最后添加
broker.id=2
listeners=PLAINTEXT://10.8.161.5:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/data/kafka/logs
num.partitions=6
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=300000
zookeeper.connect=10.8.161.2:2181,10.8.161.5:2181,10.8.161.56:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0


[root@mes-1 ~]# mkdir -p /opt/data/kafka/logs

第三台

[root@es-3-head-kib ~]# sed -i 's/^[^#]/#&/' /usr/local/kafka_2.11-2.1.0/config/server.properties
[root@es-3-head-kib ~]# vim /usr/local/kafka_2.11-2.1.0/config/server.properties
broker.id=3
listeners=PLAINTEXT://10.8.161.56:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/data/kafka/logs
num.partitions=6
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=300000
zookeeper.connect=10.8.161.2:2181,10.8.161.5:2181,10.8.161.56:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0

[root@es-3-head-kib ~]# mkdir -p /opt/data/kafka/logs
配置项含义：

#每个server需要单独配置broker id，如果不配置系统会自动配置。
broker.id

#监听地址，格式PLAINTEXT://IP:端口。
listeners

#处理网络请求的线程数量，也就是接收消息的线程数。
num.network.threads

#消息从内存中写入磁盘是时候使用的线程数量。
num.io.threads

#发送套接字的缓冲区大小
socket.send.buffer.bytes

#当消息的尺寸不足时,server阻塞的时间,如果超时,
#消息将立即发送给consumer
socket.receive.buffer.bytes

服务器将接受的请求的最大大小(防止OOM)
socket.request.max.bytes

日志文件目录。
log.dirs

#topic在当前broker上的分片个数
num.partitions

#用来设置恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir

offsets.topic.replication.factor

#超时将被删除
log.retention.hours

#日志文件中每个segment的大小，默认为1G
log.segment.bytes

#上面的参数设置了每一个segment文件的大小是1G，那么
#就需要有一个东西去定期检查segment文件有没有达到1G，
#多长时间去检查一次，就需要设置一个周期性检查文件大小
#的时间（单位是毫秒）
log.retention.check.interval.ms

#ZK主机地址，如果zookeeper是集群则以逗号隔开
zookeeper.connect

#连接到Zookeeper的超时时间。
zookeeper.connection.timeout.ms

4、其他节点配置

只需把配置好的安装包直接分发到其他节点，Kafka的broker.id和listeners就可以了。

5、启动、验证ZK集群
（1）启动

在三个节点依次执行：

[root@mes-1 ~]# cd /usr/local/kafka_2.11-2.1.0/
[root@mes-1 kafka_2.11-2.1.0]# nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
（2）验证

查看端口

root@mes-1 ~]# netstat -lntp | grep 2181
tcp6       0      0 :::2181                 :::*                    LISTEN      1226/java
[root@mes-1 ~]# yum -y install nmap

[root@mes-1 ~]# echo stat | nc 127.0.0.1 2181

可用telnet测试端口，可直接测试其他服务器的端口，

telnet  IP地址  端口号

[root@mes-1 ~]#  telnet 127.0.0.1 2181
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
conf

6、启动、验证Kafka

（1）启动

在三个节点依次执行（所有节点均操作）：

[root@mes-1 ~]# cd /usr/local/kafka_2.11-2.1.0/
[root@mes-1 kafka_2.11-2.1.0]# nohup bin/kafka-server-start.sh config/server.properties &

（2）验证 是否有一致性

在10.8.161.5上创建topic

[root@es-2-zk-log kafka_2.11-2.1.0]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testtopic
Created topic "testtopic".
#  ReplicationFactor：副本个数。
# Partition：partition 编号，从 0 开始递增

在5.56上面查询10.8.161.5上的topic

[root@es-3-head-kib kafka_2.11-2.1.0]# bin/kafka-topics.sh --zookeeper 10.8.161.5:2181 --list
testtopic

模拟消息生产和消费 发送消息到10.8.161.5

[root@mes-1 kafka_2.11-2.1.0]# bin/kafka-console-producer.sh --broker-list 10.8.161.5:9092 --topic testtopic
>hello

从10.8.161.5接受消息

[root@es-2-zk-log kafka_2.11-2.1.0]# bin/kafka-console-consumer.sh --bootstrap-server  10.8.161.5:9092 --topic testtopic --from-beginning
hello
kafka没有问题之后，回到logstash服务器： #安装完kafka之后的操作：
[root@es-2-zk-log ~]# cd /usr/local/logstash-7.8.0/etc/conf.d/
[root@es-2-zk-log conf.d]# cp input.conf input.conf.bak
[root@es-2-zk-log conf.d]# vim nginx.conf
input{
kafka{
    type => "nginxqf"
#    codec => "json
    topics => "nginx"
#    decorate_events => true
    bootstrap_servers => "10.8.161.2:9092, 10.8.161.5:9092, 10.8.161.56:9092"
    }

kafka{
    type => "tomcatqf"
    codec => "json"
    topics => "tomcat"
#   decorate_events => true
     bootstrap_servers => "10.8.161.2:9092, 10.8.161.5:9092, 10.8.161.56:9092"
        }

}


output{
    elasticsearch {
    hosts => ["10.8.161.2:9200"]
    index => ["%{type}-%{+YYYY.MM.dd}"]
    }
}


启动 logstash
[root@es-2-zk-log conf.d]# cd /usr/local/logstash-6.5.4/
[root@es-2-zk-log logstash-7.8.0]# nohup bin/logstash -f etc/conf.d/  --config.reload.automatic &
5、Filebeat

（1）下载

2401_85794744
关注
【ELK+Kafka+filebeat分布式日志收集】docker部署elasticsearch和kafka (四）
阿杰
05-13 421
创建互联网络拉取镜像挂载目录授权启动容器修改配置文件。
部署ELK+Kafka+Filebeat日志收集分析系统
热门推荐
江晓龙的博客
08-16 2万+
ELK+Kafka+Filebeat日志系统 文章目录ELK+Kafka+Filebeat日志系统1.环境规划2.部署elasticsearch集群2.1.配置es-1节点2.2.配置es-2节点2.3.配置es-3节点2.4.使用es-head插件查看集群状态3.部署kibana4.部署zookeeper4.1.配置zookeeper-1节点4.2.配置zookeeper-2节点4.3.配置zookeeper-3节点4.4.启动所有节点5.部署kafka5.1.配置kafka-1节点5.2.配置kafka
Elastic Stack（三）：Logstash介绍及安装
dl_11的博客
08-30 1331
Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。Logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理，提供 Web 接口用于查询和统计。Logstash注意有三部分输入：采集各种样式、大小和来源的数据数据往往以各种各样的形式，或分散或集中地存在于很多系统中。Logstash 支持各种输入选择 ，可以在同一时间从众多常用来源捕捉事件。
安装logstash7.3.2遇到的坑及解决方案
小蜜蜂1010的博客
10-02 2万+
一、安装logstash 1.1安装logstash7.3.2版本 国庆节的前几天下载了elasticsearch和kibana，当时elastic stack系列最新版本还是7.3.2，当时只下载了elasticsearch和kibana的最新版7.3.2练习，今天，项目中需要用到logstash收集数据信息，进入官网，发现就在今天10月2日，官网发布了新版本7.4版本，我们知道...
Docker部署Logstash 7.2.0
疯狂小草的博客
09-02 1194
Docker 部署 logstash 7.2.0
【环境部署】ELK之Logstash7.8
清风唱诗人的博客
05-21 508
前言:最近一直在全文搜索，ELK三件套使用了EK两个了，今天抽空玩了玩Logstash7.8,本篇文章基于centos7.x环境实体安装,基于docker版本的随后补上. 系统环境:CentOS Linux release 7.6.1810 (Core) ELK环境:Elastic search 7.8.0,Kibana7.8.0 Java8/Java14 (es单独使用的openJDK14) 原则:ELK三件套大小版本号保持一致,避免一些不必要的麻烦. 贴一下历史版本地址,最新版已经到了7.13.
logstash的部署和使用
七月流星
08-08 844
1、下载logstash https://www.elastic.co/downloads/elasticsearch 2、修改配置 cd config vim log4j_es.conf input { log4j { host => "127.0.0.1" port => 4560...
elk + kafka + filebeat搭建日志分析系统-附件资源
03-05
elk + kafka + filebeat搭建日志分析系统-附件资源
ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台
01-23
ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台，架构图解
ELK+KAFKA+FILEBEAT
08-02
7. **安装Kafka和Zookeeper**：Zookeeper是Kafka集群的关键组件之一，负责管理集群元数据。确保两者都已正确安装并启动。 8. **安装Kibana**：作为图形化界面工具，Kibana的安装相对简单，主要是确保其与Elastic...
elk7.7.1【系列六】logstash7.7.1安装及基础配置
qq_29384639的博客
07-02 2261
1、下载logstash https://artifacts.elastic.co/downloads/logstash/logstash-7.7.1.rpm 2、安装logstash rpm --install logstash-7.7.1.rpm 3、默认文件目录 Type Description Default Location Setting home Home directory of the Logstash installati.
logstash7.6.1 集群部署+kibana监控
weixin_45028540的博客
12-06 3815
版本 logstash-7.6.1 kibana-7.6.1 logstash.yml node.name: "logstast-node1" pipeline.id: "secondbatch" #pipeline.id: "pipeline" pipeline.workers: 12 pipeline.batch.size: 5000 pipeline.batch.delay: 10 http.host: "111.20.41.25" http.port: 9600 xpack.monitoring.e
ELK-部署Logstash
lzy_zhi_yuan的博客
05-12 441
根据部署计划，logstash部署在node2节点上。下面我们开始部署logstash 安装jdk8 具体不讲解 安装Logstash7 1、下载地址 wget https://artifacts.elastic.co/downloads/logstash/logstash-7.0.1.tar.gz 2、解压logstash tar -zxvf /opt/zip...
Logstash7.3基础配置
Finley丶博客
09-26 3451
1.根据系统选择自己需要的版本下载（https://www.elastic.co/cn/downloads/logstash） 2.配置文件（新建logstash-7.3.1/config/logstash-test.conf） 3.配置文件如下 input{ kafka { bootstrap_servers => "127.0.0.1:9092" ...
Logstash 7.10.1部署
小小绿豆的专栏
01-13 960
下载 kibana-7.10.1-linux-x86_64.tar.gz 解压 tar -zxf kibana-7.10.1-linux-x86_64.tar.gz cd logstash-7.10.1 新增配置文件 logstash_springboot.conf 到 config 目录 input { tcp { port => 4560 codec => json_lines } } output { elasticsearch { hosts .
Logstash 安装部署
学海无涯的博客
11-06 2014
一、Logstash安装部署 1、下载安装包 访问elasticSearch官网地址 https://www.elastic.co/ 下载指定版本的安装包：kibana-6.1.1-linux-x86_64.tar.gz 2、规划安装目录 /export/servers/ 3、上传安装包到指定目录 通过FTP工具上传安装包到指定目录 4、解压安装包 tar -zxvf logstash-6.1.1...
ELK实现前台单显示ip/host等日志信息
最新发布
weixin_43819738的博客
11-04 281
进入136日志配置文件：cd /usr/local/logstash/etc,创建配置文件vim grok.conf。以上的grok.conf相当于把这个日志中的内容单独拿出来,修改grok.conf配置文件。在135上进入以下路径编辑pipelines.yml 文件，把配置文件放到同一个目录下去。启动完成后手动输入日志内容，直接回车，加载出以下内容。加上匹配内容，user_ip就可以单独输出ip内容。此时因为不是标准输入，所以没有显示内容。此时显示前台访问日志内容。
ELK配置转存redis缓存，采集nginx访问日志
weixin_43819738的博客
10-31 752
elk平台集中显示nginx日志，message内核日志，mysql后台日志
elk+kafka+filebeat
06-28
elk+kafka+filebeat 是一种常见的数据处理和分析架构。ELK指的是Elasticsearch、Logstash和Kibana，它们分别用于数据存储、数据处理和数据可视化。Kafka是一个分布式流处理平台，用于处理大量的实时数据流。Filebeat...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值