ELK部署

最新推荐文章于 2024-04-07 19:43:29 发布
最新推荐文章于 2024-04-07 19:43:29 发布
阅读量662 收藏
点赞数 1
分类专栏： # ELK 文章标签： elk elasticsearch java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010230019/article/details/130245264
版权

ELK部署

1. 整体部署规划

部署图
在这里插入图片描述

1.1 服务器规划

服务器主机名ip地址主要软件
node1 节点node-251192.168.71.251ElasticSearch、Kibana
node2 节点node-252192.168.71.252ElasticSearch
apache 节点node-253192.168.71.253Logstash、Apache

1.2 关闭防火墙，同步时间

systemctl stop firewalld && systemctl disable firewalld
setenforce 0
ntpdate ntp.aliyun.com

2. ElasticSearch集群部署

在Node1、Node2节点上操作

2.1 环境准备

  1. 配置域名解析
[root@node-252 ~]# cat /etc/hosts
192.168.71.251 node-251
192.168.71.252 node-252
  1. 查看Java环境
    如果没有安装
yum -y install java

[root@node-251 ~]# java -version
openjdk version "1.8.0_362"
OpenJDK Runtime Environment (build 1.8.0_362-b08)
OpenJDK 64-Bit Server VM (build 25.362-b08, mixed mode)

2.2 部署 Elasticsearch 软件

  1. 下载软件
    https://www.elastic.co/cn/downloads/elasticsearch

  2. 上传elasticsearch-8.7.0-x86_64.rpm到/opt目录下

    [root@node-251 opt]# cd /opt/
[root@node-251 opt]# rpm -ivh elasticsearch-8.7.0-x86_64.rpm

  3. 加载系统服务

    [root@node-251 opt]# systemctl daemon-reload
[root@node-251 opt]# systemctl enable elasticsearch.service
Created symlink from /etc/systemd/system/multi-user.target.wants/elasticsearch.service to /usr/lib/systemd/system/elasticsearch.service.

  4. 修改elasticsearch主配置文件

    cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释，指定集群名字
cluster.name: my-elk-cluster
--23--取消注释，指定节点名字：Node1节点为node-251，Node2节点为node-252
node.name: node-251
--33--取消注释，指定数据存放路径
path.data: /data/elk_data
--37--取消注释，指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释，改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释，设置监听地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释，ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释，集群发现通过单播实现，指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node-251", "node-252"]

    新版本的es，还需改下安全相关内容：

    [root@node-251 opt]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml
cluster.name: yrq-elk-cluster
node.name: node-251
path.data: /data/elk_data
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["node-251", "node-252"]


xpack.security.enabled: false

xpack.security.enrollment.enabled: false

xpack.security.http.ssl:
  enabled: false
  keystore.path: certs/http.p12

xpack.security.transport.ssl:
  enabled: false
  verification_mode: certificate
  keystore.path: certs/transport.p12
  truststore.path: certs/transport.p12
cluster.initial_master_nodes: ["node-251"]

http.host: 0.0.0.0

  5. 将node-251的配置文件拷贝一份在node-252上并去node-252上修改

    scp /etc/elasticsearch/elasticsearch.yml node2:/etc/elasticsearch/
vim /etc/elasticsearch/elasticsearch.yml
--23--取消注释，指定节点名字：Node1节点为node-251，Node2节点为node-252
node.name: node-252

  6. 创建数据存放路径并授权

    mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/

  7. 启动elasticsearch是否成功开启

    systemctl start elasticsearch.service
netstat -antp | grep 9200

  8. 查看节点信息

    [root@node-252 elasticsearch]# curl node-251:9200
{
  "name" : "node-251",
  "cluster_name" : "yrq-elk-cluster",
  "cluster_uuid" : "Ho9YR64NRJGsdCZtou4dUw",
  "version" : {
    "number" : "8.7.0",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "09520b59b6bc1057340b55750186466ea715e30e",
    "build_date" : "2023-03-27T16:31:09.816451435Z",
    "build_snapshot" : false,
    "lucene_version" : "9.5.0",
    "minimum_wire_compatibility_version" : "7.17.0",
    "minimum_index_compatibility_version" : "7.0.0"
  },
  "tagline" : "You Know, for Search"
}

  9. 选择安装 Elasticsearch-head 插件
    该插件主要用来改善es自身在浏览器的可视化效果，由于我们后续在kibana中查看数据，所以选择不安装。

    这里还是介绍下安装方法：

    Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装。安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。

    • node：是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
    • phantomjs：是一个基于 webkit 的JavaScriptAPI，可以理解为一个隐形的浏览器，任何 基于 webkit 浏览器做的事情，它都可以做到。
    （1）#编译安装 node
#上传软件包 node-v8.2.1.tar.gz 到/opt
yum install gcc gcc-c++ make -y
 
cd /opt
tar zxf node-v8.2.1.tar.gz
 
cd node-v8.2.1/
./configure
make -j2 && make install
 
（2）#安装 phantomjs
#上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到
cd /opt
tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin
 
（3）#安装 Elasticsearch-head 数据可视化工具
#上传软件包 elasticsearch-head.tar.gz 到/opt
cd /opt
tar zxf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install
 
（4）#修改 Elasticsearch 主配置文件
vim /etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下内容--
http.cors.enabled: true				#开启跨域访问支持，默认为 false
http.cors.allow-origin: "*"			#指定跨域访问允许的域名地址为所有
 
systemctl restart elasticsearch
 
（5）#启动 elasticsearch-head 服务
#必须在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败。
cd /usr/local/src/elasticsearch-head/
npm run start &
 
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server
 
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
 
#elasticsearch-head 监听的端口是 9100
netstat -natp |grep 9100
 
（6）#通过 Elasticsearch-head 查看 Elasticsearch 信息通过浏览器访问 http://192.168.59.115:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色，代表群集很健康。访问有问题 可以将localhost 改成ip地址
 
（7）#插入索引
##登录192.168.59.115 node1主机#####  索引为index-demo,类型为test,可以看到成功创建
[root@node1 ~]# curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
{
  "_index" : "index-demo",
  "_type" : "test",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "created" : true
}

    效果：
    在这里插入图片描述

3. ELK Logstash 部署

在 Apache 节点上操作

3.1 安装Logstash,httpd,java

  1. 安装httpd并启动
yum -y install httpd
systemctl start httpd
  1. 安装java环境
yum -y install java
java -version
  1. 下载logstash
    https://www.elastic.co/cn/downloads/logstash
  2. 安装logstash
[root@node-253 opt]# cp /tmp/logstash-8.7.0-x86_64.rpm .
[root@node-253 opt]# rpm -ivh logstash-8.7.0-x86_64.rpm
warning: logstash-8.7.0-x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:logstash-1:8.7.0-1               ################################# [100%]
[root@node-253 opt]# rpm -qc logstash-8.7.0-x86_64.rpm
package logstash-8.7.0-x86_64.rpm is not installed
[root@node-253 opt]# rpm -qc logstash
/etc/default/logstash
/etc/logstash/jvm.options
/etc/logstash/log4j2.properties
/etc/logstash/logstash-sample.conf
/etc/logstash/logstash.yml
/etc/logstash/pipelines.yml
/etc/logstash/startup.options
/lib/systemd/system/logstash.service
                          
systemctl start logstash.service                     
systemctl enable logstash.service
cd /usr/share/logstash/
ls
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

3.2 测试 Logstash与elasticsearch功能是否能做对接

Logstash命令测试

字段描述解释：

  • -f 通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
  • -e 后面跟着字符串 该字符串可以被当做logstash的配置（如果是“空”则默认使用stdin做为输入、stdout作为输出）
  • -t 测试配置文件是否正确，然后退出

logstash -f 配置文件名字 去连接elasticsearch

（1）#输入采用标准输入输出采用标准输出---登录192.168.71.253  在Apache服务器上
logstash -e 'input { stdin{} } output { stdout{} }'
 
16:45:21.422 [[main]-pipeline-manager] INFO  logstash.pipeline - Pipeline main started
16:45:21.645 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com   ##需要手动输入
2021-12-16T08:46:14.041Z apache www.baidu.com
www.sina.com     ##需要手动输入
2021-12-16T08:46:23.548Z apache www.sina.com
 
 
（2）#使用 rubydebug 输出详细格式显示，codec 为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
 
16:51:13.127 [[main]-pipeline-manager] INFO  logstash.pipeline - Starting pipeline {"id"=>"main", "pipeline.workers"=>2, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>250}
16:51:13.174 [[main]-pipeline-manager] INFO  logstash.pipeline - Pipeline main started
The stdin plugin is now waiting for input:
16:51:13.205 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com  ##需要手动输入
{
    "@timestamp" => 2021-12-16T08:52:22.528Z,
      "@version" => "1",
          "host" => "apache",
       "message" => "www.baidu.com"
}
 
（3）##使用logstash将信息写入elasticsearch中
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.63.102:9200"] } }'

3.3 定义 logstash配置文件

Logstash 配置文件基本由三部分组成：input、output 以及 filter（可选，根据需要选择使用）。

  1. 日志目录可读权限
chmod o+r /var/log/messages					#让 Logstash 可以读取日志
  1. 修改 Logstash 配置文件，让其收集系统日志/var/log/messages，并将其输出到 elasticsearch 中。
vim /etc/logstash/conf.d/system.conf
 
input {
    file{
        path =>"/var/log/messages"						#指定要收集的日志的位置
        type =>"system"									#自定义日志类型标识
        start_position =>"beginning"					#表示从开始处收集
    }
}
output {
    elasticsearch {										#输出到 elasticsearch
        hosts => ["192.168.71.252:9200"]	#指定 elasticsearch 服务器的地址和端口
        index =>"system-%{+YYYY.MM.dd}"		#指定输出到 elasticsearch 的索引格式
    }
}
  1. 重启服务
systemctl restart logstash

4. ELK Kibana 部署

在 Node1 节点上操作

此处有个小插曲，原本的71.251服务器和252，253本是同一台机器上的虚拟机，但是同时开启es和kibana之后，cpu和内存直接爆了，笔者加内存，加cpu，奈何机器配置有限，加完还是超负荷。所以笔者又在另外一台机器上搭建的虚拟机，4个cpu+4G内存还算跑起来了，不会很卡。

  1. 下载Kibana
    https://www.elastic.co/cn/downloads/kibana
  2. 安装 Kiabana
    上传软件包 kibana-5.5.1-x86_64.rpm 到/opt目录
cd /opt
rpm -ivh kibana-5.5.1-x86_64.rpm
  1. 设置 Kibana 的主配置文件
vim /etc/kibana/kibana.yml
--2--取消注释，Kibana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释，设置 Kibana 的监听地址，0.0.0.0代表所有地址
server.host: "0.0.0.0"
--21--取消注释，设置和 Elasticsearch 建立连接的地址和端口
elasticsearch.url: "http://192.168.71.251:9200"
  1. 启动 Kibana 服务
systemctl start kibana.service
systemctl enable kibana.service
netstat -natp | grep 5601
  1. 验证 Kibana
    浏览器访问 http://192.168.70.251:5601
    在这里插入图片描述
  2. 将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示
[root@node-253 conf.d]# cat /etc/logstash/conf.d/apache_log.conf
input {
    file{
        path => "/var/log/httpd/access_log"
        type => "access"
        start_position => "beginning"
    }
    file{
        path => "/var/log/httpd/error_log"
        type => "error"
        start_position => "beginning"
    }
}
output {
    if [type] == "access" {
        elasticsearch {
            hosts => ["192.168.70.251:9200"]
            index => "apache_access-%{+YYYY.MM.dd}"
        }
    }
        if [type] == "error" {
        elasticsearch {
            hosts => ["192.168.70.251:9200"]
            index => "apache_error-%{+YYYY.MM.dd}"
        }
    }
}

cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf

  1. 浏览器访问http://192.168.70.251:5601

    Kibana左侧的Toolbar主要分为一下几块功能：

    • Discovery 发现：用于查看和搜索原始数据
    • Visualize 可视化：用来创建图表、表格和地图等
    • Dashboard：多个图表和合并为一个 Dashboard 仪表盘
    • Timelion 时间线：用于分析时序数据，以二维图形的方式展示
    • Dev Tools 开发工具：用于进行DSL查询、Query性能分析等
    • Management 管理：主要用于创建 Index Patterns，ES中的索引在创建 Index Patterns 之后，才能在 Discover 中被搜索，在 Visualize 和 Dashboard 中制图。

在这里插入图片描述
详细使用参考：
https://www.cnblogs.com/yangyongjie/p/15770195.html

壹只菜鸟
关注
专栏目录
ELK部署安装
youcan_doit的博客
07-06 2033
ELK部署安装
ELK单点部署手册
m0_72717546的博客
09-26 250
本篇对8.8.1版本的Elasticsearch和Kibana作为示例，进行一次安装部署教程。
ELK简介以及安装部署，你所不知道的Linux运维原生开发的现状
最新发布
m0_61549781的博客
04-07 915
0197953)][外链图片转存中…(img-9qxQ4yXl-1712490197953)]
随记——ELK部署
weixin_49439135的博客
06-21 1083
下载安装包：elasticsearch、kibana、logstash、filebeat 注意版本要一致，这里用的是7.13.4。es安装目录中的plugins目录下新建目录ik,将下载的zip解压到新建目录下。kibana也不能使用root账户启动，使用上面es创建的账户即可。注意防火墙，测试环境可以关闭防火墙，生产可以选择放开相应端口。下载地址：（选择对应版本的分词器下载，直接下载zip即可）重启es，log中可以看到插件加载成功。
【ELK 使用指南 1】ELK + Filebeat 分布式日志管理平台部署
这是博客的简介的简介
10-14 5015
ELK详解（组件和工作原理）；ELK部署；ELFK部署
ELK部署中文指南.
03-25
《ELK部署中文指南.pdf》 《ELK部署中文指南.pdf》 《ELK部署中文指南.pdf》
ELK部署文档.docx
03-24
ELK部署文档---
ELK部署中文指南
09-26
ELK由Elasticsearch、Logstash和Kibana三部分组件组成； Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 ...
ELK部署问题汇总1
08-08
本文将汇总ELK部署过程中常见的问题及其解决方案。 首先，我们来看Logstash的部分。Logstash是一个用于收集、解析、过滤和转发日志事件的工具。配置文件中的`input`和`output`部分分别定义了输入源和输出目标。当...
elk部署笔记
11-13
elk的部署安装文档，关于elk文档日志分析等，其中包括日志收集。
安装部署ELK
weixin_46616161的博客
08-12 597
部署elasticsearch
Elasticsearch8.7安装及使用
lucy200723的博客
05-18 530
elasticsearch8.7基本使用
从0开始进行ELK的安装、部署并在spring boot环境下使用
huang877620097的博客
12-18 510
注意了，如果你安装的是7以上版本的logstash，安装好后，关注下提示语的第一行，这里的using JAVA_HOME defined java的路径是不是你之前jdk的路径，如果不是，还需要强制去修改logstash的JDK路径的。里面大部分我觉得是不需要改的，比如数据文件路径，日志文件路径，端口9200等，若不需要的话可以不改。在配置文件中，最重要的是conf文件，在有些版本中，把/etc/logstash/目录下的logstash-sample.conf，拷贝进conf.d文件夹内即可。
ELK简介以及安装部署，全球最火的程序员学习路线
m0_61068496的博客
04-05 862
最全的Linux教程，Linux从入门到精通。
Elasticsearch [8.7] 安装与配置
码农屋
04-15 1193
Elasticsearch 下载与安装，包括 RPM 与 压缩包 两种方式安装的步骤。
ELK简介和安装指南
ZhJinW的博客
12-26 1608
ELK概述   ELK实际上是三个工具的集合，Elasticsearch + Logstash + Kibana，这三个工具组合形成了一套实用、易用的监控架构，很多公司利用它来搭建可视化的海量日志分析平台。 用Elasticsearch作为后台数据的存储，kibana用来前端的报表展示。Logstash在其过程中担任搬运工的角色，它为数据存储，报表查询和日志解析创建了一个功能强大
elk部署文档
inteligent7的博客
06-09 576
一、elasticsearch 集群安装 ELK+Filebeat流程： Filebeat->Logstash->（Elasticsearch<->Kibana） Elasticsearch: 能对大容量的数据进行接近实时的存储，搜索和分析操作。 Logstash： 数据收集引擎，它支持动态的的从各种数据源获取数据，并对数据进行过滤，分析，丰富，统一格式等操作，然后存储到用户指定的位置。 Kibana： 数据分析与可视化平台，对Elasticsearch存储的数据进行可视化分析，通过
shell中 >/dev/null 2>&1
黄亚的博客
09-28 726
shell中>/dev/null 2>&1 1. /dev/null 这条命令的作用是将标准输出1重定向到/dev/null中。/dev/null代表linux的空设备文件，所有往这个文件里面写入的内容都会丢失，俗称“黑洞”。那么执行了>/dev/null之后，标准输出就会不再存在，没有任何地方能够找到输出的内容。 2>&1 这条命令用到了重定向...
Filebeat+ELK 部署
07-12
你好！对于部署Filebeat和ELK（Elasticsearch, Logstash, Kibana）的步骤，可以按照以下指南...以上是一个基本的Filebeat+ELK部署过程。请根据您的需求和环境进行相应的配置和调整。如果有进一步的问题，请随时提问！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值