ELK部署

最新推荐文章于 2024-03-09 15:29:52 发布
最新推荐文章于 2024-03-09 15:29:52 发布
阅读量430 收藏
点赞数 1
分类专栏： 中间件部署 文章标签： kafka zookeeper elk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37981482/article/details/119915409
版权
  1. 基础环境安装

准备三台服务器A、B、C（时间必须一致）

主机A：jdk1.8、kafka、zookeeper、logstash

主机B：jdk1.8、kafka、zookeeper、es

主机C：jdk1.8、kafka、zookeeper、kibana

被控端：filebeat

1、三台服务器分别关闭防火墙、selinux

   systemctl stop firewalld

   systemctl disable firewalld

   setenforce 0

   sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

2、三台服务器分别修改主机名

   vi /etc/hosts

   重启三台服务器

   reboot

3、三台服务器分别安装jdk

   rpm –qa | grep jdk

   rpm –e 旧版本名称

   rpm –ivh jdk-8u121-linux-x64.rpm

   java -version

  1. 安装zookeeper

1、解压zookeeper安装包

   tar -zxvf apache-zookeeper-3.7.0.tar.gz -C /usr/local/

   cd /usr/local/

   mv apache-zookeeper-3.7.0/ zookeeper

   cd /usr/local/zookeeper/conf/

2、修改配置文件

   mv zoo_sample.cfg zoo.cfg

   vim zoo.cfg

tickTime=2000 #服务器之间心跳时间

initLimit=10      #zk服务器最大连接失败时间

syncLimit=5 #zk同步通信时间

dataDir=/usr/local/zookeeper/data #zk数据存放路径

clientPort=2181 #监听端口号

server.1=192.168.160.100:2888:3888 #服务器编号，ip地址，集群通信端口号，集群选举端口号

server.2=192.168. 160.101:2888:3888

server.3=192.168. 160.102:2888:3888

3、设置myid

   主机A：

   echo '1' > /usr/local/zookeeper/data/myid

   主机B：

   echo '2' > /usr/local/zookeeper/data/myid

   主机C：

   echo '3' > /usr/local/zookeeper/data/myid

4、三台服务器分别启动zookeeper

   /usr/local/zookeeper/bin/zkServer.sh start

Mode: leader为主节点，Mode: follower为从节点，zk集群一般只有一个leader，多个follower，主一般是响应客户端的读写请求，而从主同步数据，当主挂掉之后就会从follower里投票选举一个leader出来。

  1. 安装kafka

1、三台主机分别安装kafka

   tar xvf kafka_2.12-2.8.0.tar –C /usr/local

   cd /usr/local/

   mv kafka_2.12-2.8.0 kafa

2、修改配置文件

   cd /usr/local/kafka/config/

   vi server.properties

   主机A：

broker.id=0  #这里和zookeeper中的myid文件一样，采用的是唯一标识

 listeners=PLAINTEXT://192.168.160.100:9092

advertised.listeners=PLAINTEXT://192.168.160.100:9092

zookeeper.connect=192.168.160.100:2181,192.168.160.101:2181,192.168.160.102:2181 #集群的各个节点的IP地址及zookeeper的端口，在zookeeper集群设置的端口是多少这里的端口就是多少

   主机B：

broker.id=1  #这里和zookeeper中的myid文件一样，采用的是唯一标识

advertised.listeners=PLAINTEXT://192.168.160.101:9092

zookeeper.connect=192.168.160.100:2181,192.168.160.101:2181,192.168.160.102:2181 #集群的各个节点的IP地址及zookeeper的端口，在zookeeper集群设置的端口是多少这里的端口就是多少

   主机C:

broker.id=2  #这里和zookeeper中的myid文件一样，采用的是唯一标识

advertised.listeners=PLAINTEXT://192.168.160.102:9092

zookeeper.connect=192.168.160.100:2181,192.168.160.101:2181,192.168.160.102:2181 #集群的各个节点的IP地址及zookeeper的端口，在zookeeper集群设置的端口是多少这里的端口就是多少

3、启动kafka

   /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

4、测试kafka集群状态

在主机A测试，创建topic，查看当前topic，模拟生产者

#–replication-factor 2 复制2份
#–partitions 3 创建3个分区
#–topic mag 主题为mag

/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.160.100:2181 --replication-factor 2 --partitions 3 --topic msg   #创建topic

Created topic msg.

/usr/local/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.160.100:2181 msg   #模拟生产者

/usr/local/kafka/bin/kafka-console-producer.sh --broker-list 192.168.160.100:9092 --topic msg   #模拟消费者

>test 

#在主机B上查看，主机A的topic情况

/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 192.168.160.101:9092 --topic msg --from-beginning     #查看消费信息

test

#查看集群状态

/kafka-topics.sh --describe --zookeeper 192.168.160.100:2181 --topic nginx

#查看topic

/usr/local/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.153.179:2181

#查看topic策略

./kafka-configs.sh --zookeeper 192.168.201.100:2181,192.168.201.101:2181,192.168.201.102:2181 --describe --entity-type topics --entity-name nginx001

#删除topic

./kafka-topics.sh --delete --topic nginx001 --zookeeper 192.168.201.100:2181,192.168.201.101:2181,192.168.201.102:2181 

  1. 安装filebeat(监控端理论可以不用装)

1、三台主机分别安装filebeat

      tar -zxvf filebeat-6.5.2-linux-x86_64.tar.gz

      mv filebeat-6.5.2-linux-x86_64 /usr/local/filebeat

2、修改配置文件

      vi /usr/local/ filebeat/filebeat.yml

      主机A：

filebeat.inputs:

- type: log

  enabled: true

  paths:

    - /usr/local/filebeat/log/*.log

filebeat.config.modules:

  path: ${path.config}/modules.d/*.yml

  reload.enabled: false

setup.template.settings:

  index.number_of_shards: 3

setup.kibana:

output.kafka:

  enabled: true

  hosts: ["192.168.160.100:9092","192.168.160.101:9092","192.168.160.102:9092"]

  topic: msg

processors:

  - add_host_metadata: ~

  - add_cloud_metadata: ~

主机B：

filebeat.inputs:

- type: log

  enabled: true

  paths:

    - /usr/local/filebeat/log/*.log

filebeat.config.modules:

  path: ${path.config}/modules.d/*.yml

  reload.enabled: false

setup.template.settings:

  index.number_of_shards: 3

setup.kibana:

output.kafka:

  enabled: true

  hosts: ["192.168.160.100:9092","192.168.160.101:9092","192.168.160.102:9092"]

  topic: msg

主机C：

filebeat.inputs:

- type: log

  enabled: true

  paths:

    - /usr/local/filebeat/log/*.log

filebeat.config.modules:

  path: ${path.config}/modules.d/*.yml

  reload.enabled: false

setup.template.settings:

  index.number_of_shards: 3

setup.kibana:

output.kafka:

  enabled: true

  hosts: ["192.168.160.100:9092","192.168.160.101:9092","192.168.160.102:9092"]

  topic: msg

processors:

  - add_host_metadata: ~

  - add_cloud_metadata: ~

processors:

  - add_host_metadata: ~

  - add_cloud_metadata: ~

3、分别启动三台filebear

      /usr/local/filebeat/filebeat &

  1. 安装logstash

1、主机A安装logstash

      tar -zxvf logstash-6.5.2.tar.gz

      mv logstash-6.5.2 /usr/local/logstash

2、修改配置文件

      vi /usr/local/logstash/config/logstash-sample.conf

input {

        kafka {

        bootstrap_servers => ["192.168.4.124:9092,192.168.4.125:9092,192.168.4.125:9099"]

        group_id => "logstash"

        topics => ["nginx75-access","nginx75-error","server76-spring","server76-druid","server76-access"]

        decorate_events => true

        consumer_threads => 5

        codec => "json"

        auto_offset_reset => "latest"

        }

}

filter {

        json{

                source => "message"

        }

        mutate {

                remove_field => ["host","prospector","fields","input","log"]

        }

        grok {

                match => { "message" => "%{HTTPDATE:logtime}" }

                match => { "message" => "(?<logtime>\d{4}-\d{1,2}-\d{1,2} \d{1,2}:\d{1,2}:\d{1,2}.\d{3}).*\] %{LOGLEVEL:loglevel} " }

        }

        mutate {

                gsub =>[

                       "message", '/', "/"

                ]

        }

        mutate {

                convert => {

                       "usdCnyRate" => "float"

                        "futureIndex" => "float"

                }

        }

        date {

                match => [ "logtime", "YYYY-MM-dd HH:mm:ss.SSS", "dd/MMM/yyyy:HH:mm:ss Z" ]

                target => "@timestamp"

        }

}

output {

       elasticsearch {

                hosts => "192.168.4.124:9200"

                index => "%{[@metadata][topic]}-%{+YYYY-MM-dd}"

       }

}

#修改nginx文件

vi /usr/local/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1.2/patterns/nginx

NGX %{IPORHOST:client_ip} (%{USER:ident}|- ) (%{USER:auth}|-) \[%{HTTPDATE:timestamp}\] "(?:%{WORD:verb} (%{NOTSPACE:request}|-)(?: HTTP/%{NUMBER:http_version})?|-)" %{NUMBER:status} (?:%{NUMBER:bytes}|-) "(?:%{URI:referrer}|-)" "%{GREEDYDATA:agent}"

3、启动logstaash

/usr/local/logstash/bin/logstash -f /usr/local/logstash/config/logstash-sample.conf &

  1. 安装elasticsearch

1、主机B安装elasticsearch

      tar -zxvf elasticsearch-6.5.2.tar.gz -C /usr/local/

      cd /usr/local/

      mv elasticsearch-6.5.2/ elasticsearch

2、修改配置文件

      vi /usr/local/elasticsearch/config/elasticsearch.yml

cluster.name: test1

node.name: node-1

path.data: /usr/local/elasticsearch/data

path.logs: /usr/local/elasticsearch/logs

network.host: 192.168.160.101

http.port: 9200

vi /etc/sysctl.conf

vm.max_map_count=655360

sysctl –p

            vi /etc/security/limits.conf

* soft nofile 65536

* hard nofile 131072

* soft nproc 2048

* hard nproc 4096

3、创建es用户

      useradd es

      passwd es

      chown -R es:es /usr/local/elasticsearch/

4、启动es

      cd /usr/local/elasticsearch

      ./elasticsearch &

  1. 安装kibana

1、主机C安装kibana

      tar -zxvf kibana-6.5.2-linux-x86_64.tar.gz -C /usr/local/

      cd /usr/local/

      mv kibana-6.5.2-linux-x86_64/ kibana

2、修改配置文件

      vi /usr/local/kibana/config/kibana.yml

server.port: 5601

server.host: "192.168.160.102"

elasticsearch.url: "http://192.168.160.101:9200"

3、启动kibana

/usr/local/kibana/bin/ kibana

  1. 安装nginx被控端

时间必须一致

修改hosts

vi /etc/hosts

1、安装nginx(此包为提前准备好的，请自行安装)

unzip nginx.zip

mv nginx /usr/local/nginx

2、启动nginx

/usr/local/nginx/sbin/nginx

3、安装filebeat

tar –zxvf filebeat-6.5.2-linux-x86_64.tar.gz –C /usr/local

mv /usr/local/filebeat-6.5.2-linux-x86_64 /usr/local/filebeat

4、修改filebeat配置文件

vi /usr/local/filebeat/filebeat.yml

filebeat.inputs:

- type: log

  enabled: true

  paths:

    - /usr/local/nginx/logs/access.log

  fields:

    log_topics: nginx002

output.kafka:

  enabled: true

  hosts: ["192.168.201.100:9092","192.168.201.101:9092","192.168.201.102:9092"]

  topic: nginx002

filebeat.config.modules:

  path: /usr/local/filebeat/modules.d/*.yml

  reload.enabled: true

5、启动filebeat

/usr/local/filebeat/filebeat &

qq_37981482
关注
专栏目录
ELK搭建集群（三台机器为例）
小财迷嘻嘻的博客
09-02 996
假设三台机器搭建集群： 一、复制虚拟机 1、虚拟机关机状态，右击，管理–>克隆–>下一步–>虚拟机中的当前状态–>创建完整克隆–>虚拟机名称及位置自己定–>完成； 2、进入克隆的虚拟机，输入用户名密码后，需要进去改ip地址并重启网络，如下： 输入命令：vi /etc/sysconfig/network-scripts/ifcfg-ens33； 更改ip地址：原ip更改最后一位即可，比如30改为31； 保存并退出： :wq 重启网络：systemctl restart n
安装部署ELK
量子波动猫的博客
08-11 1530
部署ELK
ELK分布式日志集群在本地虚拟机部署（可应用于生产环境），后台服务基于RuoYi项目———全网最详细
m0_45901080的博客
06-27 926
elk集群部署，集成ruoyi项目
ELK集群的搭建
weixin_44443711的博客
06-19 180
文章目录前言:1. 复制虚拟机2. 修改主机名和主机列表2.1网络地址2.2主机名3.配置免密登录4.配置elasticsearch集群5.logstash示例 前言: 本次搭建接前篇文章ELK安装配置 以三台服务器为一集群示例 ip划分: bigdata01 :192.168.56.110 //master bigdata02 :192.168.56.111 bigdata03 :192.168.56.112 1. 复制虚拟机 完全复制 重新初始化所有网卡的MAC地址 复制两个 2. 修改
微服务系列：分布式日志 ELK 搭建指南
zhang33565417的博客
02-23 2773
相信大家平时工作中，在生产环境中经常会遇到很多异常，报错信息，需要查看日志信息排查错误，并且这个项目是分布式应用，日志被分散在储存不同的设备上。如果你管理数十上百台服务器，还使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。所以我们使用集中化的日志管理，分布式日志就是对大规模日志数据进行采集、追踪、处理。
Elk部署操作记录.,最详细的教程，真心推荐
09-09
Elk部署操作记录,最详细的教程，真心推荐
分布式实时日志分析解决方案ELK部署架构.docx
01-22
分布式实时日志分析解决方案ELK部署架构 ELK（Elasticsearch、Logstash、Kibana）是一种流行的集中式日志解决方案，主要由 Beats、Logstash、Elasticsearch、Kibana 等组件组成，来共同完成实时日志的收集、存储、...
elk部署包简单版本11111
12-25
这个“elk部署包简单版本11111”很可能是为了简化ELK环境的搭建过程而打包的资源集合，可能包含了Elasticsearch、Logstash和Kibana的基础配置和必要的插件，使得用户能够快速在本地或服务器上部署一个基础的日志管理...
ELK部署文档.docx
03-24
总的来说，ELK部署文档详细介绍了Logstash的环境准备、安装过程以及基础配置，为实现高效、灵活的日志管理和分析提供了基础步骤。在实际操作中，还需要根据具体的需求，配置相应的Elasticsearch和Kibana，以实现完整...
ELK部署文档.pdf
05-31
最新的elk7.1.1安装文档，es集群安装配置，kibana安装及汉化配置，filebeat和logstash安装，在各色的文档中排坑中走出，此为新手最值得拥有的文档。 系统为linux7.6 安装包为tar包。
4台服务器集群搭建_从零开始在你的服务器集群上搭建elk-stack(日志系统)(一)
weixin_39568659的博客
11-21 208
开始入门Logstash(上) 写这篇文章的时候,我的Logstash,Filebeat,Elasticsearch,kibana都是6.0版本.本文的适用对象:像我一样没有学过运维的小白,另外,这篇文章其实就是翻译官网上的文档+我自己在使用中的备注,本人英语六级水平,有错误的地方请轻喷. Elk技术栈是分别由Elasticsearch,Logstash,Kibana组成,随着技术的推进也衍生了更...
elk搭建
weixin_46766195的博客
04-26 1633
一、部署准备 1、准备三台服务器 OS：Centos7.9 规格为：4C 8G 100G disk IP为：10.20.3.94 ，10.20.3.95 ，10.20.3.96 账号 elk 密码 Sti… 服务器ip 节点名 软件列表 10.20.3.94 node-1 ElasticSearch、Kibana、Logstash 10.20.3.95 node-2 ElasticSearch、Logstash 10.20.3.96 node-3 ElasticSe.
elk初步搭建
hahakenihaoa的博客
12-04 230
初步搭建ELK7.10 准备三台服务器 2核8G centos8系统 都安装了java11 sudo yum install java-11-openjdk.x86_64 首先从官网下载安装包或yum安装（yum安装官网有教程） https://www.elastic.co/guide/en/elasticsearch/reference/7.10/rpm.html#rpm-repo https://www.elastic.co/guide/en/kibana/7.10/rpm.html#
ELK主从集群部署（生产只有两套。。。）
九曜
09-07 763
概述 机器IP 节点名称 服务 114 node-1 数据、主节点（安装elasticsearch、logstash、kabana） 115 node-2 数据节点（安装elasticsearch) 如果logstash无法收集所有的ES服务日志，哪node-2也需要配置logstash logstash收集所有的日志方法还是挺多的，如消息队列等等 主要思路：ElastiSearch天生就是分布式的 ，它知道如何通过管理多节点来提高扩容性和可用性。 这也意味着你的应用无需关注这个
kafka集群型elk日志分析系统的搭建（自我安装详细步骤记录）
hjxloveqsx的博客
09-15 1153
kafka集群型elk日志分析系统的搭建
ELK集群部署(一)之部署elasticsearch 7集群
攻城狮JasonLong的博客
07-02 558
elasticsearch 7 部署架构
ELK+Filebeat+Kafka+ZooKeeper构建大数据日志分析平台
xuxu96
03-26 5093
本来从原公司离职以后，应该去约好的公司去面试的。但是家里出了一点急事就回老家了。因此利用在老家的这段时间来整理下之前的公司项目里面用的的知识点和一些经验。原来的项目数据采集部分都是使用flume+kafka等框架。但是最新的潮流是ELK三兄弟来进行数据的采集处理显示。整个配置很长，往下一直看下去，对你还是有帮助的。 使用Filebeat来代替flume，因为Filebe...
elk搭建与简单的线上应用
ya_shy的博客
03-29 4172
开源文档： Logstash：https://www.elastic.co/guide/en/logstash/current/index.html Filebeat：https://www.elastic.co/guide/en/beats/filebeat/current/index.html Elasticsearch：https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html Kibana：https://ww
ELK-介绍及Elasticsearch集群搭建
最新发布
2302_77503226的博客
03-09 981
ELK是三个开源软件的缩写，分别为Elasticsearch、Logstash、kibana它们都是开源软件。后来新增了一个FileBeat，它是一个轻量及的日志收集处理工具，因为Logstash由java程序开发，比较消耗内存资源，后来将Logstash使用go语言重新编译，升级为了FileBeat。 Elasticsearch是一个基于Lucene搜索引擎的NoSql数据库，用于存储Logstash（日志管道工具）收集来的数据，最后由Kibana图形化界面工具来呈现出来，它工作在Elasticse
Filebeat+ELK 部署
07-12
你好！对于部署Filebeat和ELK（Elasticsearch, Logstash, Kibana）的步骤，可以按照以下指南...以上是一个基本的Filebeat+ELK部署过程。请根据您的需求和环境进行相应的配置和调整。如果有进一步的问题，请随时提问！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值