ELK+kafka+filebeat7

于 2024-05-15 11:06:02 发布
阅读量347 收藏 8
点赞数 4
分类专栏： 程序员 文章标签： 单元测试 功能测试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_55004058/article/details/138900395
版权

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

sed -i ‘s/-Xmx1g/-Xmx4g/’ /usr/local/elasticsearch-6.5.4/config/jvm.options


注意： 确保堆内存最小值（Xms）与最大值（Xmx）的大小相同，防止程序在运行时改变堆内存大小。 堆内存大小不要超过系统内存的50%


（4）创建ES数据及日志存储目录

[root@mes-1 ~]# mkdir -p /data/elasticsearch/data (/data/elasticsearch)
[root@mes-1 ~]# mkdir -p /data/elasticsearch/logs (/log/elasticsearch)


（5）修改安装目录及存储目录权限

[root@mes-1 ~]# chown -R elsearch.elsearch /data/elasticsearch #递归修改
[root@mes-1 ~]# chown -R elsearch:elsearch /usr/local/elasticsearch-6.5.4 #es安装目录


3、系统优化


（1）增加最大文件打开数


永久生效方法：

echo “* - nofile 65536” >> /etc/security/limits.conf


 


（2）增加最大进程数

[root@mes-1 ~]# vim /etc/security/limits.conf —在文件最后面添加如下内容

  • soft nofile 65536
  • hard nofile 131072
  • soft nproc 2048
  • hard nproc 4096
    更多的参数调整可以直接用这个

解释：
soft xxx : 代表警告的设定，可以超过这个设定值，但是超过后会有警告。继续会处理
hard xxx : 代表严格的设定，不允许超过这个设定的值。超出后不处理
nofile : 是每个进程可以打开的文件数的限制
nproc : 是操作系统级别对每个用户创建的进程数的限制


（3）增加最大内存映射数（调整使用交换分区的设置）

永久修改：
[root@mes-1 ~]# vim /etc/sysctl.conf —添加如下
vm.max_map_count=262144 #elasticsearch用户拥有的内存权限太小，至少需要262144；
vm.swappiness=0 #表示最大限度使用物理内存，在内存不足的情况下（内存用完），然后才是swap空间
[root@mes-1 ~]# sysctl -p

vm.swappiness＝100的时候表示积极的使用swap分区，并且把内存上的数据及时的搬运到swap空间里面。生效配置文件中的设置

或者：
临时修改：
[root@mes-1 ~]# sysctl -w vm.max_map_count=262144
增大用户使用内存的空间(临时)


启动如果报下列错误

memory locking requested for elasticsearch process but memory is not locked
elasticsearch.yml文件
bootstrap.memory_lock : false
/etc/sysctl.conf文件
vm.swappiness=0

错误:
max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

意思是elasticsearch用户拥有的客串建文件描述的权限太低，至少需要65536个

解决：

切换到root用户下面，

vim   /etc/security/limits.conf

在最后添加

  • hard nofile 65536
  • hard nofile 65536
    重新启动elasticsearch，还是无效？
    必须重新登录启动elasticsearch的账户才可以，例如我的账户名是elasticsearch，退出重新登录。
    另外也可以换为启动elasticsearch的账户也可以， 代表所有，其实比较不合适

启动还会遇到另外一个问题，就是
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
意思是：elasticsearch用户拥有的内存权限太小了，至少需要262114。这个比较简单，也不需要重启，直接执行

sysctl -w vm.max_map_count=262144

就可以了


 


4、启动ES

[root@mes-1 ~]# su - elsearch
Last login: Sat Aug 3 19:48:59 CST 2020 on pts/0
[root@mes-1 ~]$ cd /usr/local/elasticsearch-6.5.4/
[root@mes-1 elasticsearch-7.8.0]$ ./bin/elasticsearch #先启动看看报错不，需要多等一会 看是否可正常启动
用Ctrl+C终止
终止之后
[root@mes-1 elasticsearch-7.8.0]$ nohup ./bin/elasticsearch & #放后台启动，关了终端也不会有影响
[1] 11462
nohup: ignoring input and appending output to ‘nohup.out’
[root@mes-1 elasticsearch-7.8.0]$ tail -f nohup.out #看一下是否启动 用了nohup，在当前也会出现日志
或者:
su - elsearch -c “cd /usr/local/elasticsearch-7.8.0 && nohup bin/elasticsearch &”


 


#### 测试：浏览器访问


cluster\_uuid 显示出来--->启动成功


![](https://img-blog.csdnimg.cn/20210127144539355.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjgzNzc5Ng==,size_16,color_FFFFFF,t_70)


 


### 5.安装配置head监控插件（Web前端）----只需要安装一台就可以了。10.8.161.5


1）安装node


此处版本号可不做要求

[root@es-3-head-kib ~]# wget https://npm.taobao.org/mirrors/node/latest-v4.x/node-v4.4.7-linux-x64.tar.gz
[root@es-3-head-kib ~]# tar -zxf node-v4.4.7-linux-x64.tar.gz –C /usr/local
[root@es-3-head-kib ~]# vim /etc/profile #添加如下变量
NODE_HOME=/usr/local/node-v4.4.7-linux-x64
PATH= N O D E H O M E / b i n : NODE_HOME/bin: NODEH​OME/bin:PATH
export NODE_HOME PATH
[root@es-3-head-kib ~]# source /etc/profile
[root@es-3-head-kib ~]# node --version #检查node版本号
v4.4.7


（2）下载head插件

[root@es-3-head-kib ~]# wget https://github.com/mobz/elasticsearch-head/archive/master.zip
[root@es-3-head-kib ~]# cp master.zip /usr/local/
[root@es-3-head-kib ~]# yum -y install unzip
[root@es-3-head-kib ~]# cd /usr/local
[root@es-3-head-kib ~]# unzip master.zip


（3）安装grunt

[root@es-3-head-kib ~]# cd elasticsearch-head-master/
[root@mes-3-head-kib elasticsearch-head-master]# npm install -g grunt-cli #时间会很长


![](https://img-blog.csdnimg.cn/20210127144833297.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjgzNzc5Ng==,size_16,color_FFFFFF,t_70)

[root@es-3-head-kib elasticsearch-head-master]# grunt --version #检查grunt版本号
grunt-cli v1.3.2


 


（4）修改head源码

[root@es-3-head-kib elasticsearch-head-master]# vim /usr/local/elasticsearch-head-master/Gruntfile.js （95左右）


![](https://img-blog.csdnimg.cn/20210127144953835.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjgzNzc5Ng==,size_16,color_FFFFFF,t_70)


添加hostname，注意在上一行末尾添加逗号,hostname 不需要添加逗号


 

[root@es-3-head-kib elasticsearch-head-master]# vim /usr/local/elasticsearch-head-master/_site/app.js (4359左右)


如果在一台机器上面可以不修改下面的操作。保持原来的就可以了


如果是集群需要修改如下信息:改为es的IP地址，集群的话加上主节点IP地址即可


原本是<http://localhost:9200> ，如果head和ES不在同一个节点，注意修改成ES的IP地址


![](https://img-blog.csdnimg.cn/20210127145119465.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjgzNzc5Ng==,size_16,color_FFFFFF,t_70)


（5）下载head必要的文件

[root@es-3-head-kib ~]# wget https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@es-3-head-kib ~]# yum -y install bzip2
[root@es-3-head-kib ~]# tar -jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /tmp/ #解压


（6）运行head

[root@es-3-head-kib ~]# cd /usr/local/elasticsearch-head-master/
[root@es-3-head-kib ~]# npm config set registry https://registry.npm.taobao.org #配置淘宝的npm源地址
[root@es-3-head-kib elasticsearch-head-master]# npm install
…
grunt-contrib-jasmine@1.0.3 node_modulees/grunt-contrib-jasmine
├── sprintf-js@1.0.3
├── lodash@2.4.2
├── es5-shim@4.5.13
├── chalk@1.1.3 (escape-string-regexp@1.0.5, supports-color@2.0.0, ansi-styles@2.2.1, strip-ansi@3.0.1, has-ansi@2.0.0)
├── jasmine-core@2.99.1
├── rimraf@2.6.3 (glob@7.1.4)
└── grunt-lib-phantomjs@1.1.0 (eventemitter2@0.4.14, semver@5.7.0, temporary@0.0.8, phan
[root@es-3-head-kib elasticsearch-head-master]#

[root@es-3-head-kib elasticsearch-head-master]# tail -f nohup.out
Running “connect:server” (connect) task
Waiting forever…
Started connect web server on http://localhost:9100


（7）测试


访问 :10.8.161.8.5:9100


## 


## 2、 Kibana部署


 


## 


#### 1. 安装配置Kibana


（1）安装

[root@es-3-head-kib ~]# tar zvxf kibana-7.8.0-linux-x86_64.tar.gz -C /usr/local/


（2）配置

[root@es-3-head-kib ~]# cd /usr/local/kibana-6.5.4-linux-x86_64/config/
[root@es-3-head-kib config]# vim kibana.yml
server.port: 5601
server.host: “10.8.161.5”
server.name: “kibana”
elasticsearch.hosts: [“http://10.8.161.2:9200”] #ES主节点地址+端口(7.8版本写法)
kibana.index: “.kibana”


配置项含义：


server.port kibana 服务端口，默认5601  
 server.host kibana 主机IP地址，默认localhost  
 elasticsearch.url  用来做查询的ES节点的URL，默认http://localhost:9200  
 kibana.index       kibana在Elasticsearch中使用索引来存储保存的searches, visualizations和dashboards，默认.kibana


（3）启动

[root@es-3-head-kib config]# cd …

7.8版本启动
[root@es-3-head-kib kibana-6.5.4-linux-x86_64]# nohup ./bin/kibana --allow-root &
[root@es-3-head-kib kibana-6exit.5.4-linux-x86_64]# nohup: ignoring input and appending output to ‘nohup.out’


 


#### 2. 安装配置Nginx反向代理


（1）配置YUM源：

[root@es-3-head-kib ~]# rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm


（2）安装：

[root@es-3-head-kib ~]# yum install -y nginx


（3）配置反向代理 ,此处对head配置的反向代理并未生效

[root@es-3-head-kib ~]# cd /etc/nginx/conf.d/
[root@es-3-head-kib conf.d]# cp default.conf nginx.conf
[root@es-3-head-kib conf.d]# mv default.conf default.conf.bak
[root@es-3-head-kib conf.d]# vim nginx.conf
[root@es-3-head-kib conf.d]# cat nginx.conf

server {
listen 80;
server_name 10.8.161.5;

     location / {
         proxy_pass http://10.8.161.5:5601;
         proxy_set_header Host $host:5601;
         proxy_set_header X-Real-IP $remote_addr;
         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
         proxy_set_header Via "nginx";
                 }
     location /status {
         stub_status on; #开启网站监控状态
         access_log /var/log/nginx/kibana_status.log; #监控日志
         auth_basic "NginxStatus"; }

     location /head/{
         proxy_pass http://10.8.161.5:9100;
         proxy_set_header Host $host:9100;
         proxy_set_header X-Real-IP $remote_addr;
         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
         proxy_set_header Via "nginx";
                     }

}


 


**（4）配置nginx**

1.将原来的log_format注释掉，添加json格式的配置信息，如下：
[root@es-3-head-kib conf.d]# vim /etc/nginx/nginx.conf
log_format json ‘{“@timestamp”:“KaTeX parse error: Double superscript at position 44: … '̲"@version":"1",…remote_addr”,’
‘“url”:“KaTeX parse error: Double superscript at position 35: … '̲"status":"status”,’
‘“domain”:“KaTeX parse error: Double superscript at position 36: … '̲"host":"server_addr”,’
‘“size”:KaTeX parse error: Double superscript at position 46: … '̲"responsetime":request_time,’
‘“referer”: “KaTeX parse error: Double superscript at position 44: … '̲"ua": "http_user_agent”’
‘}’;
2.引用定义的json格式的日志：
access_log /var/log/nginx/access_json.log json;


（5）启动nginx

[root@es-3-head-kib ~]# systemctl start nginx


#### 浏览器访问[http://1]( )0.8.161.5 刚开始没有任何数据，会提示你创建新的索引。


#### 


![](https://img-blog.csdnimg.cn/20210127151914432.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjgzNzc5Ng==,size_16,color_FFFFFF,t_70)


#### 若kibana启用失败，可尝试先关闭kibana


#### 再将head页面的


![](https://img-blog.csdnimg.cn/20210127151509706.png)


#### 删除


#### 再启用kibana


 


## 3、 Logstash部署----10.8.161.56


 


#### 1.安装配置Logstash


Logstash运行同样依赖jdk，需要配置jdk环境

[root@es-2-zk-log ~]# tar -xvzf jdk-8u211-linux-x64.tar.gz -C /usr/local/
[root@es-2-zk-log ~]# cd /usr/local/
[root@es-2-zk-log ~]# mv jdk1.8.0_211/ java
[root@es-2-zk-log ~]# vim /etc/profile
[root@es-2-zk-log elk_packages]# tail -3 /etc/profile
JAVA_HOME=/usr/local/java
PATH= J A V A H O M E / b i n : JAVA_HOME/bin: JAVAH​OME/bin:PATH
export JAVA_HOME PATH


（1）安装

[root@es-2-zk-log ~]# tar xvzf logstash-6.5.4.tar.gz -C /usr/local/


（2）配置


创建目录，我们将所有input、filter、output配置文件全部放到该目录中。

1.安装nginx:
[root@es-2-zk-log ~]# rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
[root@es-2-zk-log ~]# yum install -y nginx
将原来的日志格式注释掉定义成json格式：
[root@es-2-zk-log conf.d]# vim /etc/nginx/nginx.conf
log_format json ‘{“@timestamp”:“KaTeX parse error: Double superscript at position 44: … '̲"@version":"1",…remote_addr”,’
‘“url”:“KaTeX parse error: Double superscript at position 35: … '̲"status":"status”,’
‘“domain”:“KaTeX parse error: Double superscript at position 36: … '̲"host":"server_addr”,’
‘“size”:KaTeX parse error: Double superscript at position 46: … '̲"responsetime":request_time,’
‘“referer”: “KaTeX parse error: Double superscript at position 44: … '̲"ua": "http_user_agent”’
‘}’;
2.引用定义的json格式的日志：
access_log /var/log/nginx/access_json.log json;


![](https://img-blog.csdnimg.cn/20210127152234895.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjgzNzc5Ng==,size_16,color_FFFFFF,t_70)


监控nginx和tomcat服务


给nginx和Tomcat定义不同的topic


分别定义索引为nginxqf和tomcatqf

[root@es-2-zk-log ~]# systemctl start nginx
[root@es-2-zk-log ~]# systemctl enable nginx
浏览器多访问几次
[root@es-2-zk-log ~]# mkdir -p /usr/local/logstash-6.5.4/etc/conf.d
[root@es-2-zk-log ~]# cd /usr/local/logstash-6.5.4/etc/conf.d/
#可定义名字为nginx.conf
[root@es-2-zk-log conf.d]# vim nginx.conf #—在下面添加
input{
kafka{
type => “nginxqf”

codec => "json

topics => "nginx"

decorate_events => true

bootstrap_servers => "10.8.161.2:9092, 10.8.161.5:9092, 10.8.161.56:9092"
}

kafka{
type => “tomcatqf”
codec => “json”
topics => “tomcat”

decorate_events => true

 bootstrap_servers => "10.8.161.2:9092, 10.8.161.5:9092, 10.8.161.56:9092"
    }

}

output{
elasticsearch {
hosts => [“10.8.161.2:9200”]
index => [“%{type}-%{+YYYY.MM.dd}”]
}
}

启动：
[root@es-2-zk-log conf.d]# cd /usr/local/logstash-7.8.0/
[root@es-2-zk-log logstash-7.8.0]# nohup bin/logstash -f etc/conf.d/ --config.reload.automatic &


查看日志的出现

[root@es-2-zk-log logstash-7.8.0]# tail -f nohup.out
[2019-08-04T01:39:24,671][INFO ][logstash.outputs.elasticsearch] Attempting to install template {:manage_template=>{“template”=>“logstash-“, “version”=>60001, “settings”=>{“index.refresh_interval”=>“5s”}, “mappings”=>{“default”=>{“dynamic_templates”=>[{“message_field”=>{“path_match”=>“message”, “match_mapping_type”=>“string”, “mapping”=>{“type”=>“text”, “norms”=>false}}}, {“string_fields”=>{“match”=>””, “match_mapping_type”=>“string”, “mapping”=>{“type”=>“text”, “norms”=>false, “fields”=>{“keyword”=>{“type”=>“keyword”, “ignore_above”=>256}}}}}], “properties”=>{“@timestamp”=>{“type”=>“date”}, “@version”=>{“type”=>“keyword”}, “geoip”=>{“dynamic”=>true, “properties”=>{“ip”=>{“type”=>“ip”}, “location”=>{“type”=>“geo_point”}, “latitude”=>{“type”=>“half_float”}, “longitude”=>{“type”=>“half_float”}}}}}}}}


#### 在浏览器中访问本机的nginx和tomcat的网站


 


![](https://img-blog.csdnimg.cn/20210127163831438.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjgzNzc5Ng==,size_16,color_FFFFFF,t_70)


![](https://img-blog.csdnimg.cn/2021012716381588.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjgzNzc5Ng==,size_16,color_FFFFFF,t_70)


 


#### 然后去head插件页面查看是否有nginxqf和tomcatqf索引出现


![](https://img-blog.csdnimg.cn/20210127164058327.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjgzNzc5Ng==,size_16,color_FFFFFF,t_70)


#### **发现之后，去配置kibana添加索引**


![](https://img-blog.csdnimg.cn/20210127164133931.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjgzNzc5Ng==,size_16,color_FFFFFF,t_70)


![](https://img-blog.csdnimg.cn/20210127164152136.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjgzNzc5Ng==,size_16,color_FFFFFF,t_70)


![](https://img-blog.csdnimg.cn/20210127164315835.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjgzNzc5Ng==,size_16,color_FFFFFF,t_70)


![](https://img-blog.csdnimg.cn/2021012716460160.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjgzNzc5Ng==,size_16,color_FFFFFF,t_70)


选择时间戳，并创建索引


![](https://img-blog.csdnimg.cn/20210127164642530.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjgzNzc5Ng==,size_16,color_FFFFFF,t_70)


选择需要查看的话题


![](https://img-blog.csdnimg.cn/20210127164743675.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjgzNzc5Ng==,size_16,color_FFFFFF,t_70)


可以根据某个特定的值，来查看记录，比如


多刷新几次本机的nginx和tomcat页面，可以看到相应的日志记录，此处tomcat选用的是启动日志，当关闭或开启时，才会有日志产生


![](https://img-blog.csdnimg.cn/20210127164804304.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjgzNzc5Ng==,size_16,color_FFFFFF,t_70)


**注意:如果进程关闭,页面将会访问失败，需要重启head,kibana,logstash**


注意:如果出不来通过界面提示打开时间管理器，设置时间为本星期\*\*


过程: 通过nginx的访问日志和tomcat的开启获取日志--->传输到logstach ----传输到--elasticsearch--传输到---kibana （通过nginix反代）


 


 


## 4、 Kafka部署


1.安装配置jdk8


（1）Kafka、Zookeeper（简称：ZK）运行依赖jdk8

tar zxvf /usr/local/package/jdk-8u121-linux-x64.tar.gz -C /usr/local/
echo ’
JAVA_HOME=/usr/local/jdk1.8.0_121
PATH= J A V A H O M E / b i n : JAVA_HOME/bin: JAVAH​OME/bin:PATH
export JAVA_HOME PATH
’ >>/etc/profile
source /etc/profile


2.安装配置ZK


Kafka运行依赖ZK，Kafka官网提供的tar包中，已经包含了ZK，这里不再额下载ZK程序。


配置相互解析---三台机器（可不配置）

[root@es-2-zk-log ~]# vim /etc/hosts
10.8.161.2 mes-1
10.8.161.5 es-2-zk-log
10.8.161.56 es-3-head-kib


（1）安装

[root@es-2-zk-log ~]# tar xzvf kafka_2.11-2.1.0.tgz -C /usr/local/


（2）配置


第一台

[root@mes-1 ~]# sed -i ‘s/[#]/#&/’ /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties #注释
[root@mes-1 ~]# vim /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties #添加如下配置
dataDir=/opt/data/zookeeper/data
dataLogDir=/opt/data/zookeeper/logs
clientPort=2181
tickTime=2000
initLimit=20
syncLimit=10
server.1=10.8.161.2:2888:3888
server.2=10.8.161.5:2888:3888
server.3=10.8.161.56:2888:3888

[root@mes-1 ~]# mkdir -p /opt/data/zookeeper/{data,logs}
#创建myid文件
[root@mes-1 ~]# echo 1 > /opt/data/zookeeper/data/myid #myid号按顺序排 集群节点的标识，和server.*对应


第二台

[root@es-2-zk-log ~]# sed -i ‘s/[#]/#&/’ /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties
[root@es-2-zk-log ~]# vim /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties
dataDir=/opt/data/zookeeper/data
dataLogDir=/opt/data/zookeeper/logs
clientPort=2181
tickTime=2000
initLimit=20
syncLimit=10
server.1=10.8.161.2:2888:3888
server.2=10.8.161.5:2888:3888
server.3=10.8.161.56:2888:3888

#创建data、log目录
[root@es-2-zk-log ~]# mkdir -p /opt/data/zookeeper/{data,logs}
#创建myid文件
[root@es-2-zk-log ~]# echo 2 > /opt/data/zookeeper/data/myid


第三台

[root@es-3 ~]# sed -i ‘s/[#]/#&/’ /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties
[root@es-3-head-kib ~]# vim /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties
dataDir=/opt/data/zookeeper/data
dataLogDir=/opt/data/zookeeper/logs
clientPort=2181
tickTime=2000
initLimit=20
syncLimit=10
server.1=10.8.161.2:2888:3888
server.2=10.8.161.5:2888:3888
server.3=10.8.161.56:2888:3888

#创建data、log目录
[root@es-3-head-kib ~]# mkdir -p /opt/data/zookeeper/{data,logs}
#创建myid文件
[root@es-3-head-kib ~]# echo 3 > /opt/data/zookeeper/data/myid


#### 配置项含义：


dataDir ZK数据存放目录。  
 dataLogDir  ZK日志存放目录。  
 clientPort  客户端连接ZK服务的端口。  
 tickTime        ZK服务器之间或客户端与服务器之间维持心跳的时间间隔。  
 initLimit       允许follower连接并同步到Leader的初始化（第一次）连接时间，当初始化连接时间超过该值，则表示连接失败。  
 syncLimit   Leader与Follower之间发送消息时如果follower在设置时间内不能与leader通信，那么此follower将会被丢弃。  
 server.1=172.16.244.31:2888:3888    2888是follower与leader交换信息的端口，3888是当leader挂了时用来执行选举时服务器相互通信的端口。


 


### 3.配置Kafka


（1）配置


第一台

[root@mes-1 ~]# sed -i ‘s/[#]/#&/’ /usr/local/kafka_2.11-2.1.0/config/server.properties
[root@mes-1 ~]# vim /usr/local/kafka_2.11-2.1.0/config/server.properties #在最后添加
broker.id=1
listeners=PLAINTEXT://10.8.161.2:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/data/kafka/logs
num.partitions=6
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=300000
zookeeper.connect=10.8.161.2:2181,10.8.161.5:2181,10.8.161.56:2181
zookeeper.connection.timeout.ms=6000

[root@mes-1 ~]# mkdir -p /opt/data/kafka/logs


第二台

[root@mes-1 ~]# sed -i ‘s/[#]/#&/’ /usr/local/kafka_2.11-2.1.0/config/server.properties
[root@mes-1 ~]# vim /usr/local/kafka_2.11-2.1.0/config/server.properties #在最后添加
broker.id=2
listeners=PLAINTEXT://10.8.161.5:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/data/kafka/logs
num.partitions=6
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=300000
zookeeper.connect=10.8.161.2:2181,10.8.161.5:2181,10.8.161.56:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0

[root@mes-1 ~]# mkdir -p /opt/data/kafka/logs


第三台

[root@es-3-head-kib ~]# sed -i ‘s/[#]/#&/’ /usr/local/kafka_2.11-2.1.0/config/server.properties
[root@es-3-head-kib ~]# vim /usr/local/kafka_2.11-2.1.0/config/server.properties
broker.id=3
listeners=PLAINTEXT://10.8.161.56:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/data/kafka/logs
num.partitions=6
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=300000
zookeeper.connect=10.8.161.2:2181,10.8.161.5:2181,10.8.161.56:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0

[root@es-3-head-kib ~]# mkdir -p /opt/data/kafka/logs


#### 配置项含义：


#每个server需要单独配置broker id，如果不配置系统会自动配置。  
 broker.id  


#监听地址，格式PLAINTEXT://IP:端口。  
 listeners  


#处理网络请求的线程数量，也就是接收消息的线程数。  
 num.network.threads    


#消息从内存中写入磁盘是时候使用的线程数量。  
 num.io.threads    


#发送套接字的缓冲区大小  
 socket.send.buffer.bytes 


#当消息的尺寸不足时,server阻塞的时间,如果超时,  
 #消息将立即发送给consumer  
 socket.receive.buffer.bytes    


服务器将接受的请求的最大大小(防止OOM)  
 socket.request.max.bytes  


日志文件目录。  
 log.dirs    


#topic在当前broker上的分片个数  
 num.partitions


#用来设置恢复和清理data下数据的线程数量  
 num.recovery.threads.per.data.dir 


  
 offsets.topic.replication.factor


#超时将被删除  
 log.retention.hours


#日志文件中每个segment的大小，默认为1G  
 log.segment.bytes


#上面的参数设置了每一个segment文件的大小是1G，那么  
 #就需要有一个东西去定期检查segment文件有没有达到1G，  
 #多长时间去检查一次，就需要设置一个周期性检查文件大小  
 #的时间（单位是毫秒）  
 log.retention.check.interval.ms 


#ZK主机地址，如果zookeeper是集群则以逗号隔开  
 zookeeper.connect  


#连接到Zookeeper的超时时间。  
 zookeeper.connection.timeout.ms 


#### 4、其他节点配置


只需把配置好的安装包直接分发到其他节点，Kafka的broker.id和listeners就可以了。


#### 5、启动、验证ZK集群


#### 


#### （1）启动


在三个节点依次执行：

[root@mes-1 ~]# cd /usr/local/kafka_2.11-2.1.0/
[root@mes-1 kafka_2.11-2.1.0]# nohup bin/zookeeper-server-start.sh config/zookeeper.properties &


#### （2）验证


![img](https://img-blog.csdnimg.cn/img_convert/39806368fdae9f99edd4f185d963c6aa.png)
![img](https://img-blog.csdnimg.cn/img_convert/2918651d1feac4197a8c7f572977b483.png)
![img](https://img-blog.csdnimg.cn/img_convert/fba9b9836794569277a6c41b432223ac.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化的资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618631832)**

tor


#超时将被删除  
 log.retention.hours


#日志文件中每个segment的大小，默认为1G  
 log.segment.bytes


#上面的参数设置了每一个segment文件的大小是1G，那么  
 #就需要有一个东西去定期检查segment文件有没有达到1G，  
 #多长时间去检查一次，就需要设置一个周期性检查文件大小  
 #的时间（单位是毫秒）  
 log.retention.check.interval.ms 


#ZK主机地址，如果zookeeper是集群则以逗号隔开  
 zookeeper.connect  


#连接到Zookeeper的超时时间。  
 zookeeper.connection.timeout.ms 


#### 4、其他节点配置


只需把配置好的安装包直接分发到其他节点，Kafka的broker.id和listeners就可以了。


#### 5、启动、验证ZK集群


#### 


#### （1）启动


在三个节点依次执行：

[root@mes-1 ~]# cd /usr/local/kafka_2.11-2.1.0/
[root@mes-1 kafka_2.11-2.1.0]# nohup bin/zookeeper-server-start.sh config/zookeeper.properties &


#### （2）验证


[外链图片转存中...(img-ITHs5vkq-1715742339982)]
[外链图片转存中...(img-BxAHtH4a-1715742339982)]
[外链图片转存中...(img-w0mfvRCa-1715742339983)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化的资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618631832)**
环球商业推荐
关注
专栏目录
【ELK+Kafka+filebeat分布式日志收集】docker部署elasticsearch和kafka (四）
阿杰
05-13 384
创建互联网络拉取镜像挂载目录授权启动容器修改配置文件。
部署ELK+Kafka+Filebeat日志收集分析系统
热门推荐
江晓龙的博客
08-16 2万+
ELK+Kafka+Filebeat日志系统 文章目录ELK+Kafka+Filebeat日志系统1.环境规划2.部署elasticsearch集群2.1.配置es-1节点2.2.配置es-2节点2.3.配置es-3节点2.4.使用es-head插件查看集群状态3.部署kibana4.部署zookeeper4.1.配置zookeeper-1节点4.2.配置zookeeper-2节点4.3.配置zookeeper-3节点4.4.启动所有节点5.部署kafka5.1.配置kafka-1节点5.2.配置kafka
ELK 7.5.0（七）ELK7+Filebeat7
友人A的博客
08-07 536
一、实验环境 主机名 IP es 192.168.14.210 kibana 192.168.14.210 logstash 192.168.14.211 Filebeat 192.168.14.213 nginx 192.168.14.213 二、安装部署（内容比较多，已经分开写） 1、ELK（elasticsearch+logstash+k...
elk7.2+filebeat
weixin_30354675的博客
07-02 402
ELK(Elasticsearch + Logstash + Kibana)，是一个开源的日志收集平台，用于收集各种客户端日志文件在同一个平台上面做数据分析。 ELK组件： Elasticsearch:负责日志检索和储存 Logstash:负责日志的收集和分析、处理 Kibana:负责日志的可视化 这三款软件都是开源软件,通常是配合使用,而且又先后归于Elastic.co...
Filebeat7.x安装和使用
牧竹子
08-12 6567
简介 Beats 有多种类型，可以根据实际应用需要选择合适的类型。 常用的类型有： Packetbeat：网络数据包分析器，提供有关您的应用程序服务器之间交换的事务的信息。 Filebeat：从您的服务器发送日志文件。 Metricbeat：是一个服务器监视代理程序，它定期从服务器上运行的操作系统和服务收集指标。 Winlogbeat：提供Windows事件日志。 Filebeat 有两个主要...
filebeat7.7.0相关详细配置预览（归类视角）
BigManing的博客
08-14 3047
文章目录一、前言二、参数配置分类1、Modules configuration2、Filebeat inputs3、Filebeat autodiscover4、Filebeat global options5、General6、 Processors7、Elastic Cloud8、Outputs9、 Paths10、 Keystore11、Dashboards12、Template13、 Setup ILM14、 Kibana15、 Logging16、 X-Pack Monitoring17、 HTT
ELK环境搭建之安装-filebeat-7.6.1
与时代同行 liwei
05-01 1673
查看linux服务器信息 [root@linux-node2 ~]# cat /etc/redhat-release CentOS Linux release 7.5.1804 (Core) [root@linux-node2 ~]# uname -r 2.6.32-573.el6.x86_64 1,下载安装包 2，解压文件 [es@linux-node2 ~]# tar -xvf filebe...
elk + kafka + filebeat搭建日志分析系统-附件资源
03-05
elk + kafka + filebeat搭建日志分析系统-附件资源
ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台
01-23
ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台，架构图解
StirngBoot+ELK+Kafka记录日志，超详细搭建过程！
01-20
【StirngBoot+ELK+Kafka记录日志】是一种高效、实时的日志收集、分析和展示解决方案，尤其适用于大型分布式系统。该系统通过整合SpringBoot应用的日志记录、Kafka的消息中间件、ELK(Elasticsearch、Logstash、Kibana...
ELK7.x日志系统搭建 3. 采用轻量级日志收集Filebeat
憧憬个人博客
07-09 482
ELK7.x日志系统搭建 3. 采用轻量级日志收集Filebeat 当我们在对系统日志进行处理的时候，我们需要结合成本考虑方案，前期如果使用 Logstash 进行日志收集的话会耗费较多的机器性能，我们这里选择优化一下日志的采集。简单介绍一下即将出场的家伙： filebeat 首先 filebeat 是 Beats 中的一员。 Beats 在是一个轻量级日志采集器...
132.ElasticSearch（七）：ELK和FileBeat
鹏哥哥Aaa
08-23 200
es整合ELK和FileBeat
（七）史上最强ELK集群搭建系列教程——filebeat服务搭建
厉害哥哥的博客
04-16 825
引言 正文 结语
centos7 源码部署elk7.4.2 + filebeat
JineD的博客
03-10 3022
filebeat安装 # 下载filebeat包 wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.4.2-linux-x86_64.tar.gz # 解压 tar -xvf filebeat-7.4.2-linux-x86_64.tar.gz -C /data mv filebeat-7.4.2-linux-x86_64.tar.gz filebeat cd filebeat # 采集mysql慢日志..
Filebeat+ELK7系列 整合日志收集 WIN10(也可linux)
crazyo2jam的博客
04-07 671
1,先下载这4个服务包(zip),虽然我在win10上使用 不过代码同样可以在linux跑 https://www.elastic.co/cn/downloads 2.解压4个压缩包 3.1 es和kibana的安装请看 虽然是6版本 https://blog.csdn.net/crazyo2jam/article/details/104168077 3.2 配置 Filebeat 由于我...
最全elk7.1.1单机配置： ELK+Filebeat+Kafka！
v790873的博客
03-15 1010
ELK单机配置 使用软件版本 applicationName version java 1.8 kafka 2.12-2.2.1 filbeat 7.1.1 logstash 7.1.1 elasticsearch 7.1.1 kibana 7.1.1 流程图 #mermaid-svg-Vbw8VbgyZjzpjxwv .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid
ELK+FileBeat 在：Centos7 环境下的安装与部署
最新发布
qq_57629110的博客
07-20 533
进入logstash-7.14.0/config目录下编辑logstash-sample.conf文件，当然也可以新建一个配置文件，这里以logstash-sample.conf为例。这里的outputs设置，采用输出到logstash后再输入es的方式，因此将es output的配置注释，将logstash的配置打开并配置logstash的hosts。在input->beats->port默认是5044，后面部署的filebeat的日志都会发送到这里，所以filebeat里面的配置要和这里的保持一致。
ELK+Filebeat集中式日志解决方案（centos7）
bittersweet0324的博客
11-11 1万+
ELK Stack 概述 ELK是一组开源软件的简称，其包括Elasticsearch、Logstash 和 Kibana。
elk+kafka+filebeat
06-28
elk+kafka+filebeat 是一种常见的数据处理和分析架构。ELK指的是Elasticsearch、Logstash和Kibana，它们分别用于数据存储、数据处理和数据可视化。Kafka是一个分布式流处理平台，用于处理大量的实时数据流。Filebeat...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值