企业 Elasticsearch日志分析平台

最新推荐文章于 2023-11-16 22:37:56 发布
最新推荐文章于 2023-11-16 22:37:56 发布
阅读量806 收藏 2
点赞数
分类专栏： 企业环境运维操作 文章标签： elasticsearch logstash 分布式 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Howei__/article/details/106681059
版权

文章目录

Elasticsearch介绍

官网：https://www.elastic.co/cn/

简称： ES
Elasticsearch 是一个开源的分布式搜索分析引擎,建立在一个全文搜索引擎库 Apache Lucene基础之上；
Elasticsearch 不仅仅是 Lucene,并且也不仅仅只是一个全文搜索引擎；
一个分布式的实时文档存储,每个字段 可以被索引与搜索；
一个分布式实时分析搜索引擎；
能承受上百个服务节点的扩展,并支持 PB 级别的结构化或者非结构化数据。

Elasticsearch应用场景

信息检索
日志分析
业务数据分析
数据库加速
运维指标监控

安装配置

安装包下载：https://elasticsearch.cn/download/
因为Elasticsearch是用java开发的，所以运行还需要jdk，所以还需要下载：jdk-7u80-linux-x64.tar.gz
但是在7.6以上的版本里，已经集成里jgdk 的安装包，所以直接安装Elasticsearch就可以。
官网的下载很慢可以使用华为开源镜像下载站下载：https://mirrors.huaweicloud.com/elasticsearch/

[root@server1 ~]# rpm -ivh elasticsearch-7.6.1-x86_64.rpm

安装完成后因为自带jdk所以不需要担心依赖性的问题，然后可以在/etc/elasticsearch有一个jvm.options的文件，这里面有锁定服务开启是使用的内存量，默认是1G，所以如果要注意到你的主机内存，如果可用内存过低，服务是无法启动的，Xmx设置不超过物理RAM的50%，以确保有足够的物理RAM留给内核文件系统缓存，但不要超过32G。

[root@server1 ~]# vim /etc/elasticsearch/jvm.options 
-Xms1g
-Xmx1g
配置集群信息

Elasticsearch在单主机上可以直接使用，但是为了效果这里我配置集群去使用，如果是单机就不需要开启集群相关的配置
然后去配置主配置文件

[root@server1 ~]# vim /etc/elasticsearch/elasticsearch.yml 
 17 cluster.name: my-app	#编写集群名称，自定义
 23 node.name: server1	#设置本机的主机名，集群配置要配置所有节点上的解析
 33 path.data: /var/lib/elasticsearch	#默认的数据储存目录
 37 path.logs: /var/log/elasticsearch	#默认的日志储存目录
 43 #bootstrap.memory_lock: true		#内存锁定功能开启或关闭，如果主机内存不是很多，不要打开，否则服务无法启动
 55 network.host: 172.25.254.1	#主机ip
 59 http.port: 9200		#http访问的端口
 72 cluster.initial_master_nodes: ["server1"]	#集群内主机名整合，目前只有一个节点，后面可以继续添加集群节点

还需要在/etc/security/limits.conf 文件进行设定修改系统限制
在文件的最后进行添加

[root@server1 ~]# vim /etc/security/limits.conf 
elasticsearch - nofile 65536	#设置最大文件数
elasticsearch - nproc 4096		#设置最大进程数
elasticsearch soft memlock unlimited	#软件内存锁定
elasticsearch hard memlock unlimited	#硬件内存锁定

修改systemd启动文件，在service语句块下添加

[root@server1 ~]# vim /usr/lib/systemd/system/elasticsearch.service
LimitNOFILE=65535

LimitMEMLOCK=infinity	#添加内存锁定
# Specifies the maximum number of processes
LimitNPROC=4096 #这个数字就是/etc/security/limits.conf里设置的nproc 4096

修改swap的使用优先级，使它尽量少用或不用 !!!

[root@server1 ~]# echo 0 > /proc/sys/vm/swappiness
[root@server1 ~]# cat /proc/sys/vm/swappiness
0	#将原本的30改为0

[root@server1 ~]# vim /etc/fstab #把fstab下的自动挂载swap注释掉，开机及就不会去挂载swap分区，也就无法使用了
#/dev/mapper/rhel-swap   swap                    swap    defaults        0 0

启动服务

[root@server1 ~]# daemon-reload 
[root@server1 ~]# vim /etc/elasticsearch/elasticsearch.yml

开启后直接通过9200端口就可以去访问了
在这里插入图片描述

添加图形界面

图形界面是从github上去下载的，可以自行去选择自己喜欢的
我下载的是

wget https://github.com/mobz/elasticsearch-head/archive/master.zip

[root@server1 ~]# unzip master.zip	#解压
[root@server1 ~]# ls
elasticsearch-head-master	#得到这样一个目录

因为head插件本质上是一个nodejs的工程,因此需要安装node:

[root@server1 ~]# wget https://mirrors.tuna.tsinghua.edu.cn/nodesource/rpm_9.x/el/7/x86_64/nodejs-9.11.2-1nodesource.x86_64.rpm
[root@server1 ~]# rpm -ivh nodejs-9.11.2-1nodesource.x86_64.rpm	#安装nodejs

因为使用npm install的时候它的安装依赖性会自行去网上下载，但是因为它的安装源在国外，我们下载会很慢，所以去更换它的安装源

[root@server1 ~]# cd elasticsearch-head-master/	#进入刚解压出来的目录里

使用淘宝的npm源来安装
[root@server1 elasticsearch-head-master]# npm install --registry=https://registry.npm.taobao.org

**注意：**这里安装的时候还需要一个命令支持，PhantomJS not found on PATH 找不到这个命令，并且它会自动下载，但是它给的网站下载是很慢的，所以需要自行提前去下载好，下载网址：https://mirrors.huaweicloud.com/phantomjs/ ，找到和它要求一样的包
在这里插入图片描述
下载完后解压拆解，

[root@server1 ~]# tar xfj phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@server1 bin]# cd phantomjs-2.1.1-linux-x86_64/bin/	#进入它的bin文件
[root@server1 bin]# cp phantomjs /usr/local/bin	#复制到系统命令目录里

[root@server1 bin]#  yum install -y fontconfig-2.13.0-4.3.el7.x86_64	#还需要安装它的依赖性包

[root@server1 bin]# phantomjs 	#测试使用就没有问题了
phantomjs>

完成操作再去安装nmp就没有问题了
安装完成还在elasticsearch-head-master目录下修改一个文件配置，将http访问指向本机ip的9200端口

[root@server1 elasticsearch-head-master]# vim _site/app.js 
4374                         this.base_uri = this.config.base_uri || this.prefs.get("ap     p-base_uri") || "http://172.25.254.1:9200";

[root@server1 elasticsearch-head-master]# npm run start &	#后台启动就可以了

启动后会开启9100端口提供去访问
在这里插入图片描述
在这里插入图片描述

最后修改ES跨域支持，添加两条配置

[root@server1 ~]# vim /etc/elasticsearch/elasticsearch.yml 
http.cors.enabled: true		#是否支持跨域，true支持
http.cors.allow-origin: "*"	#*表示支持所有域名

[root@server1 ~]# systemctl restart elasticsearch.service 	#重启服务

重启之后就可以去页面上连接节点了。连接后显示健康就没问题
在这里插入图片描述

ES分布式部署

首先需要再使用两台主机，来搭建集群
server2和server3，也去安装ES，配置文件可以直接从server1上传过去简单改一下就好

[root@server2 ~]# vim /etc/elasticsearch/elasticsearch.yml 
 17 cluster.name: my-app	
 23 node.name: server2	#设置本机的主机名，集群配置要配置所有节点上的解析
 55 network.host: 172.25.254.2	#主机ip
 59 http.port: 9200		#http访问的端口
 69 discovery.seed_hosts: ["server1","server2","server3"]	#给server1上添加同样的节点主机名
 73 cluster.initial_master_nodes: ["server1","server2","server3"]	#给server1上添加同样的节点主机名

[root@server3 ~]# vim /etc/elasticsearch/elasticsearch.yml 
 17 cluster.name: my-app	
 23 node.name: server3	#设置本机的主机名，集群配置要配置所有节点上的解析
 55 network.host: 172.25.254.3	#主机ip
 59 http.port: 9200		#http访问的端口
 69 discovery.seed_hosts: ["server1","server2","server3"]
 73 cluster.initial_master_nodes: ["server1","server2","server3"]

其他的配置和server1相同，开启ES服务

然后在页面里点击符合查询index/daemo去检索集群节点
在这里插入图片描述
可以看到3主机都被加载出来了，server1前面的星表示它是master节点，其他两个是工作节点
在这里插入图片描述

ES里的节点角色说明
  • Master:
    主要负责集群中索引的创建、删除以及数据的Rebalance等操作。
    Master不负责数据的索引和检索,所以负载较轻。当Master节点失联或者挂掉的时候,ES集群会自动从其他Master节点选举出一个Leader。
  • Data Node:
    主要负责集群中数据的索引和检索,一般压力比较大。
  • Coordinating Node:
    是原来的Client node的,主要功能是来分发请求和合并结果的。所有节点默认就是Coordinating node,且不能关闭该属性。
  • Ingest Node:
    专门对索引的文档做预处理
节点优化配置

在生产环境下,如果不修改Elasticsearch节点的角色信息，高并发的场景下集群容易出现崩溃等问题。
默认情况下Elasticsearch集群中每个节点都有成为主节点的资格,也都存储数据,还可以提供查询服务。
节点角色是由以下参数控制:
• node.master: false|true 是否可以作master节点
• node.data: true|false 是否可以储存数据
• node.ingest: true|false 是否可以预处理文档
• search.remote.connect: true|false 是否可以跨集群查询
默认情况下这些属性的值都是true。

节点的组合配置方式

  • 第一种（默认方式）
    node.master: true
    node.data: true
    node.ingest: true
    search.remote.connect: true
    这种组合表示这个节点即有成为主节点的资格,又存储数据。
    如果某个节点被选举成为了真正的主节点,那么他还要存储数据,这样对于这个节点的压力就比较大了。
    不建议设置为这样。

  • 第二种
    node.master: false
    node.data: true
    node.ingest: false
    search.remote.connect: false
    这种组合表示这个节点没有成为主节点的资格,也就不参与选举,只会存储数据。
    这个节点称为data(数据)节点。在集群中需要单独设置几个这样的节点负责存储数据。后期提供存储和查询服务。

  • 第三种
    node.master: true
    node.data: false
    node.ingest: false
    search.remote.connect: false
    这种组合表示这个节点不会存储数据,有成为主节点的资格,可以参与选举,有可能成为真正的主节点。
    这个节点我们称为master节点。

  • 第四种
    node.master: false
    node.data: false
    node.ingest: false
    search.remote.connect: false
    这种组合表示这个节点即不会成为主节点,也不会存储数据,
    这个节点的意义是作为一个协调节点,主要是针对海量请求的时候可以进行负载均衡。

  • 第五种
    node.master: false
    node.data: false
    node.ingest: true
    search.remote.connect: false
    这种组合表示这个节点即不会成为主节点,也不会存储数据,这个节点的意义是ingest节点,对索引的文档做预处理。

生产集群中可以对这些节点的职责进行划分:

  1. 建议集群中设置3台以上的节点作为master节点,这些节点只负责成为主节点,维护整个集群的状态。

  2. 再根据数据量设置一批data节点,这些节点只负责存储数据,后期提供建立索引和查询索引的服务,这样的话如果用户请求比较频繁,这些节点的压力也会比较大。

  3. 所以在集群中建议再设置一批协调节点,这些节点只负责处理用户请求,实现请求转发,负载均衡等功能。

实验测试

对于目前的3台主机，我们分别进行不同的设定，这些设定都是需要额外添加进去的

[root@server1 ~]# vim /etc/elasticsearch/elasticsearch.yml 
node.master: true	#可以做master
node.data: false	#不存数据

[root@server2 ~]# vim /etc/elasticsearch/elasticsearch.yml 
node.master: true	#可以作master
node.data: true		#可以存数据

[root@server3 ~]# vim /etc/elasticsearch/elasticsearch.yml 
node.master: false	#不能作master
node.data: true		#只能存数据

设定完成这三个节点都重启服务，注意在server1上我们现在设定不能存数据，但是之前已经产生数据了，所以需要去清楚之前的数据才可以。

[root@server1 ~]# cd /usr/share/elasticsearch/bin/
[root@server1 bin]# systemctl stop elasticsearch
[root@server1 bin]# ./elasticsearch-node repurpose
[root@server1 bin]# systemctl restart elasticsearch.service

最后我们得到的就是server1和server2可以成为master节点，server2和server3可以储存数据
在这里插入图片描述
不同节点的需求建议：

  • master节点:普通服务器即可(CPU、内存 消耗一般)
  • data节点:主要消耗磁盘、内存。
    path.data: data1,data2,data3
    这样的配置可能会导致数据写入不均匀,建议只指定一个数据路径,磁盘可以使用raid0阵列,而不需要成本高的ssd。
  • Coordinating节点:对cpu、memory要求较高。

logstash数据采集

Logstash是一个开源的服务器端数据处理管道。
logstash拥有200多个插件,能够同时从多个来源采集数据,
转换数据,然后将数据发送到您最喜欢的 “存储库” 中。(大多
都是 Elasticsearch。)
Logstash管道有两个必需的元素,输入和输出,以及一个可选
元素过滤器。
Logstash管道有两个必需的元素,输入和输出,以及一个可选
元素过滤器。

  • 输入:采集各种样式、大小和来源的数据
    Logstash 支持各种输入选择 ,同时从众多常用来源捕捉事件。
    能够以连续的流式传输方式,轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

  • 过滤器:实时解析和转换数据
    数据从源传输到存储库的过程中,Logstash 过滤器能够解析各个事件,识别已命名的字段以构建结构,并将它们转换成通用格式,以便更轻松、更快速地分析和实现商业价值。如：
    利用 Grok 从非结构化数据中派生出结构;
    从 IP 地址破译出地理坐标;
    将 PII 数据匿名化,完全排除敏感字段;
    简化整体处理,不受数据源、格式或架构的影响.

  • 输出:选择您的存储库,导出您的数据
    尽管 Elasticsearch 是我们的首选输出方向,能够为我们的搜索和分析带来无限可能,但它并非唯一选择。
    Logstash 提供众多输出选择,您可以将数据发送到您要指定的地方,并且能够灵活地解锁众多下游用例。

安装配置

因为前面的三台主机给的内存都是2G，所以再去开启一台主机配置logstash，如果你给的一台主机内存高也可以直接在一台主机上去配置，server4去安装logstash
推荐下载地址：https://mirrors.huaweicloud.com/logstash/
国内的服务器，下载快，这个logstash也是需要jdk 的

[root@server4 ~]# rpm -ivh jdk-8u181-linux-x64.rpm 
[root@server4 ~]# rpm -ivh logstash-7.7.1.rpm

安装完可以直接执行它的脚本去启动

-e后面的参数就是指定输入和输出的模式，这里写的都是标准模式
/usr/share/logstash/bin/logstash -e 'input { stdin { } }
output { stdout {} }'
启动时会有一段加载过程，会产生输出
111	#启动后随便去进行输入内容
{	#都会自动返回输出给你
    "@timestamp" => 2020-06-11T08:42:59.995Z,
      "@version" => "1",
       "message" => "111",
          "host" => "server4"
}

还可以去编写配置指定输入输出和过滤器的配置参数，
在/etc/logstash/conf.d/ 这个目录里创建.conf结尾的文件都会被采集到配置信息里

[root@server4 ~]# vim /etc/logstash/conf.d/file.conf
input {
        stdin { }	 #输入为标准输入
}
#中间的过滤器可以不指定
output {
        stdout { }	#输出为标准输出
}

指定我们自己编写配置启动还是同样可以生效

[root@server4 ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/file.conf	#指定我们编写的配置启动

123
{
       "message" => "123",
          "host" => "server4",
      "@version" => "1",
    "@timestamp" => 2020-06-11T08:52:23.099Z
}
logstash输出插件

除了指定的标准输出之外，还可以参考官方文档，添加多个模块，指定输出保存的路径和输出的格式

[root@server4 ~]# vim /etc/logstash/conf.d/file.conf
input {
        stdin { }
}

output {
		stdout { }
        file {
                path => "/tmp/logstash.txt"	#指定输出路径
                codec => line { format => "custom format: %{message}"}	 #输出格式
        }
}

再去启动logstash输入

[root@server4 ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/file.conf

[root@server4 ~]# cat /tmp/logstash.txt 	#输入的内容会保存在这里
custom format: 11
custom format: 132
Logstash 输出到 ES主机

在自定义的配置文件里，设定使用elasticsearch插件去输出

[root@server4 ~]# vim etc/logstash/conf.d/file.conf
input {
        stdin { }
}

output {
        stdout { }
        elasticsearch {	#使用ES插件
                hosts => "172.25.254.1:9200"	#输出到ES主机，这里是支持列表的，可以写入多个ip
                index => "logstash-%{+YYYY.MM.dd}"	#指定索引名
        }
}

[root@server4 ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/file.conf

test	#输入数据
/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/awesome_print-1.7.0/lib/awesome_print/formatters/base_formatter.rb:31: warning: constant ::Fixnum is deprecated
{
          "host" => "server4",
    "@timestamp" => 2020-06-11T09:14:20.703Z,
       "message" => "test",
      "@version" => "1"

在页面上可以看到收到了logstash 的数据
在这里插入图片描述
还可以在数据浏览里查看接收到的这条信息和我们输入的是一样的
在这里插入图片描述

这样我们测试输出传送没有问题，现在就要考虑我们的输入了，将日志文件放到输入里直接通过logstash输出到ES上。
这里为了测试，在server4上安装apache，访问测试生成大量的访问日志

[root@server4 ~]# yum install -y httpd
[root@server4 ~]# echo "www.redhat.cn" > /var/www/html/index.html	#写一个默认发布页
[root@server4 ~]# systemctl enable --now httpd

[root@server1 ~]# ab -c 1 -n 100 http://172.25.254.4/index.html	#访问100次

[root@server4 ~]# cat /var/log/httpd/access_log 	#产生的访问数据都在这个文件里

要注意的是，logstash运行的时候是通过logstash用户执行的，所以对于要执行的目录和文件都要有可读的权限

[root@server4 ~]# vim /etc/logstash/conf.d/file.conf
input {
        file {
                path => "/var/log/httpd/access_log"	#执行输入的文件
                start_position => "beginning"	#从哪开始读，设置为开头,也可以设置为end，表示加载后期的变动
        }
}

output {
        stdout { }
        elasticsearch {
                hosts => "172.25.254.1:9200"
                index => "logstash-%{+YYYY.MM.dd}"
        }
}

再去启动后就会自动长生大量的输出，就是在读取/var/log/httpd/access_log里的内容，并且输出到ES上，可以看到ES上的logstash出现了大量的数据文件
在这里插入图片描述
重要说明的一点是，如果当前ES上的logstash被删除了，再次去执行一次输入输出也不会再有输出结果了，因为在执行过之后就会有记录，不会再重复的读取一个文件的内容。

[root@server4 ~]# cd /usr/share/logstash/data/plugins/inputs/file/
[root@server4 file]# ls -A	#这里面有一个隐藏文件
.sincedb_15940cad53dd1d99808eeaecd6f6ad3f
[root@server4 file]# cat .sincedb_15940cad53dd1d99808eeaecd6f6ad3f
9450679 0 64768 10290 1591868378.088398 /var/log/httpd/access_log	#文件里的内容，记录就是关于读取的文件的
[root@server4 file]# ls -i /var/log/httpd/access_log 
9450679 /var/log/httpd/access_log

如果需要数据重载，就可以选择删除这个隐藏文件，再去执行
隐藏的sincedb文件一共6个字段

  1. inode编号
  2. 文件系统的主要设备号
  3. 文件系统的次要设备号
  4. 文件中的当前字节偏移量
  5. 最后一个活动时间戳(浮点数)
  6. 与此记录匹配的最后一个已知路径
syslog 跨主机日志采集插件

如果当需要采集其他主机上日志时，按照上面的方法就需要在所有的主机上安装logstash然后转发日志到ES里，这样就显得很麻烦，因为logstash本身运行的时候消耗的资源也是不少的。
所以就需要使用logstash伪装成日志服务器，直接接受远程日志。
操作方法：
在server4这台安装logstash的主机上编辑配置文件，让rsyslog的日志通过514端口输入到ES上

[root@server4 file]# vim /etc/logstash/conf.d/syslog.conf
input {
        syslog {
                type => "rsyslog"
                port => 514
        }
}

output {
        stdout { }
        elasticsearch { 
                hosts => "172.25.254.1:9200"    
                index => "syslog-%{+YYYY.MM.dd}"
        }
}

写好配置，就可以执行通过这个配置运行logstash

[root@server4 file]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/syslog.conf

再去其他需要转发日志的主机上配置日志转发

[root@server1 ~]# vim /etc/rsyslog.conf
添加一条日志采集规则，将所有日志转发到server4上通过514端口
*.*                                                     @@172.25.254.4:514
[root@server1 ~]# systemctl restart rsyslog.service

其他节点都配置完，重启之后就可以看到server4上已经接收到日志信息了
在这里插入图片描述
ES上也接收到了
在这里插入图片描述

多行过滤插件

多行过滤可以把多行日志记录合并为一行事件，前面我们测试标准输入输出的时候都是输一行采集一行，但是想要一次采集多行就需要使用multiline插件

[root@server4 file]# vim /etc/logstash/conf.d/multline.conf
input {
        stdin {
        codec => multiline {
                pattern => "^EOF"	#设定输入的关键字
                negate => true	
                what => previous	#表示向上匹配，就是碰到EOF的时候会把之前的所有输入作为一个整体
                }
        }
}

output {
        stdout { }
}

[root@server4 file]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/multline.conf
11
112
123
EOF
/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/awesome_print-1.7.0/lib/awesome_print/formatters/base_formatter.rb:31: warning: constant ::Fixnum is deprecated
{
       "message" => "11\n112\n123",
          "tags" => [
        [0] "multiline"
    ],
          "host" => "server4",
      "@version" => "1",
    "@timestamp" => 2020-06-11T15:10:50.401Z
}

这样的多行过滤还可以应用到日志的采集时，如果一条日志它是多行存在的就可以，使用输入关键字设定配置日志信息。

过滤插件

使用grok插件可以过滤日志，添加过滤器

[root@server4 file]# vim /etc/logstash/conf.d/grok.conf
input {
        stdin {}
}       

filter {
        grok {	#使用grok过滤器，自定义输出模板
        match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" }
        }
}

output {
        stdout { }
}

过滤的match的设定是根据你输入的数据格式写的，用的测试模板也是从官方文档里取的：55.3.244.1 GET /index.html 15824 0.043，分为ip、模式、请求、大小、周期等信息

[root@server4 file]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/grok.conf 
55.3.244.1 GET /index.html 15824 0.043
/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/awesome_print-1.7.0/lib/awesome_print/formatters/base_formatter.rb:31: warning: constant ::Fixnum is deprecated
{	#自动根据你的输入，分解过滤成这样的输出
      "@version" => "1",
        "client" => "55.3.244.1",
          "host" => "server4",
      "duration" => "0.043",
        "method" => "GET",
       "request" => "/index.html",
       "message" => "55.3.244.1 GET /index.html 15824 0.043",
         "bytes" => "15824",
    "@timestamp" => 2020-06-11T15:39:54.415Z
}

在生产环境中，针对apache这类web服务，我们可以根据访问日志的信息去分割，提取相应的ip信息记录来源和访问次数

[root@server4 file]# vim /etc/logstash/conf.d/apache.conf
input {
        file {
                path => "/var/log/httpd/access_log"	#指定文件
                start_position => "beginning"
        }
}

filter{
        grok {
                match => { "message" => "%{HTTPD_COMBINEDLOG}" }	#使用httpd自己的过滤模板
        }
}

output {
        elasticsearch {
                hosts => "172.25.254.1:9200"		#输出到ES里
                index => "apachelog-%{+YYYY.MM.dd}"
        }
}

启动logstash后，去访问100次server4的http服务采集数据

[root@server4 file]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/apache.conf

在这里插入图片描述
在这里插入图片描述

可以看到，输出的日志信息就全部被分割开了，所有的信息都有了统一的索引值方便数据统计。

kibana数据可视化

Kibana 核心产品搭载了一批经典功能:柱状图、线状图、饼
图、旭日图,等
可以将地理数据融入地图里，展示各个地区的访问情况。
利用 Graph 功能分析数据间的关系。

安装配置

官方下载：https://elasticsearch.cn/download/
国内下载地址https://mirrors.huaweicloud.com/kibana/

直接安装rpm包，注意安装kibana的版本要和你的ES版本一致，否则会导致可kibana无法访问

[root@server4 ~]# rpm -ivh kibana-7.6.1-x86_64.rpm

编辑配置

[root@server4 ~]# vim /etc/kibana/kibana.yml 
  2 server.port: 5601	#服务监听端口
  7 server.host: "172.25.254.4"	#服务地址
 28 elasticsearch.hosts: ["http://172.25.254.1:9200"]	#指定ES的地址
 37 kibana.index: ".kibana"		#kibana在ES中创建的索引
115 i18n.locale: "zh-CN"		#开启中文支持

[root@server4 ~]# systemctl enable --now kibana.service 	#开启服务并自启

开启服务后，检测端口是否正常开启

[root@server4 ~]# netstat -ntlp | grep 5601
tcp        0      0 172.25.254.4:5601       0.0.0.0:*               LISTEN      13848/node
使用操作

正常启动后就可以通过网页去直接访问kibana如果出现网页报错可以多刷新几次试试
在这里插入图片描述
这里提供了样例数据可以让你参考，主要还是需要自行去建立。
选择“自己浏览”，进入后，左侧选择Discover创建索引，这里的数据我们是直接可以从ES上拿来的，所以索引模式“apachelog-* ”指向apache的访问日志
在这里插入图片描述
创建完索引后，在点击Discover就可以看到信息，如果看不到信息，是因为时间设置的不够长，之前的数据间隔太久了，更改统计的时间就可以
在这里插入图片描述
在左上方有保存，点击可进行保存数据
在这里插入图片描述

创建仪表板

然后需要去创建仪表板展示数据，不然如何能快速的分析出我们需要的数据内容
点击左侧的Dashbord，创建仪表版，点击新建，选择指标模块
在这里插入图片描述
这里就可以刚才保存的数据
在这里插入图片描述
再点击保存，将仪表板保存下来
在这里插入图片描述
在这里插入图片描述

最后就可以通过添加把我们制定的仪表板保存下来了，并且展示出来
在这里插入图片描述

还可以继续创建仪表板
点击左侧的Visualize，创建可视化，还是使用apachelog-* 这个数据来创建一个垂直条形图
创建出来之后，需要添加X轴，并且根据之前过滤出来的访问ip进行前五名的降序排列
在这里插入图片描述
这里就还需要多用几台主机进行访问产生数据使用

[root@server2 ~]# ab -c 1 -n 200 http://172.25.254.4/index.html
[root@server3 ~]# ab -c 1 -n 400 http://172.25.254.4/index.html

再到kibana里面就可以看到实时的数据变化，x轴还标注了数据来源ip
在这里插入图片描述
同样添加到仪表盘里展示
在这里插入图片描述

xpack安全验证

x-pack介绍：
x-pack是一个基于elastic安全的插件包。可以实现安全认证，监控、报表、图形等功能。自elk5.0版本以后集成到elk中。

特点：
安装方便，灵活。虽然已经集成，但是可以随意的启用或禁用某个功能

创建证书

集群模式需要先创建证书，这样的操作可以让集群里的主机共用一个证书，不需要重新去绑定连接
操作在ES主机上执行，

[root@server1 ~]# cd /usr/share/elasticsearch/bin	#创建证书的命令在这个路径下
[root@server1 elasticsearch]# ./elasticsearch-certutil ca	#调用命令创建ca证书
#这里有两个需要执行的操作
Please enter the desired output file [elastic-stack-ca.p12]: 	#这个指定输出的文件可以直接使用默认的，回车跳过
Enter password for elastic-stack-ca.p12 : 	#设置密码，是在调用ca是需要的，可以直接回车跳过也可以输入一个密码

[root@server1 bin]# ./elasticsearch-certutil cert --ca elastic-stack-ca.p12	#使用刚才生成的elastic-stack-ca.p12
Enter password for CA (elastic-stack-ca.p12) : 	#这里就需要输密码，上面没有设置的密码，直接回车跳过,下面也是直接跳过
Please enter the desired output file [elastic-certificates.p12]: 
Enter password for elastic-certificates.p12 :

然后把生成的两个文件放入ES的配置文件里，生成的文件就在当前目录的上级目录里

[root@server1 bin]# cd ..
[root@server1 elasticsearch]# ls
bin                       elastic-stack-ca.p12  lib          modules     plugins
elastic-certificates.p12  jdk                   LICENSE.txt  NOTICE.txt  README.asciidoc

[root@server1 elasticsearch]# cp elastic-certificates.p12 elastic-stack-ca.p12 /etc/elasticsearch

注意要查看这两个文件的权限，因为ES执行的时候是通过elasticsearch用户来执行的，所以直接把文件的拥有者改成elasticsearch。

[root@server1 elasticsearch]# ll
-rw-------. 1 root elasticsearch  3451 Jun 12 10:27 elastic-certificates.p12
-rw-------. 1 root elasticsearch  2527 Jun 12 10:27 elastic-stack-ca.p12
[root@server1 elasticsearch]# chown elasticsearch elastic-certificates.p12 elastic-stack-ca.p12
配置到其他节点

可以直接将这两个证书通过发送直接放到其他节点的/etc/elasticsearch里

[root@server1 elasticsearch]# scp -p elastic-stack-ca.p12 elastic-certificates.p12 server2:/etc/elasticsearch/
[root@server1 elasticsearch]# scp -p elastic-stack-ca.p12 elastic-certificates.p12 server3:/etc/elasticsearch/

传送过去后也是需要整改权限的

启用xpack安全验证

这个配置很简单，在所有节点上直接添加指定的配置

[root@server1 ~]# vim /etc/elasticsearch/elasticsearch.yml 
xpack.security.enabled: true	#确认开启证书
xpack.security.transport.ssl.enabled: true	#ssl开启
xpack.security.transport.ssl.verification_mode: certificate	#指定加密的模式
xpack.security.transport.ssl.keystore.path: /etc/elasticsearch/elasticcertificates.p12	#证书的路径
xpack.security.transport.ssl.truststore.path: /etc/elasticsearch/elasticcertificates.p12

其他节点都一样，直接添加配置进去就可以,
配置完成将所有节点重启加载配置。
当去再去使用kibana连接时就需要输入用户和密码进行认证了

在这里插入图片描述

这里就需要去创建用户密码

[root@server1 elasticsearch]# cd /usr/share/elasticsearch/bin
[root@server1 bin]# ./elasticsearch-setup-passwords interactive	#执行命令创建密码和用户
Enter password for [elastic]: 	#ES的超级用户
Reenter password for [elastic]: 
Enter password for [apm_system]: 	
Reenter password for [apm_system]: 
Enter password for [kibana]: 	#kibana用户的密码
Reenter password for [kibana]: 
Enter password for [logstash_system]: 	#logstash用户的密码
Reenter password for [logstash_system]: 
Enter password for [beats_system]: 
Reenter password for [beats_system]: 
Enter password for [remote_monitoring_user]: 	#远程连接用户的密码
Reenter password for [remote_monitoring_user]: 
Changed password for user [apm_system]
Changed password for user [kibana]
Changed password for user [logstash_system]
Changed password for user [beats_system]
Changed password for user [remote_monitoring_user]
Changed password for user [elastic]

设置完密码和ihou就会创建出这些相应的用户
在这里插入图片描述

kibana认证

在kibana的主机里的配置目录里开启ES的认证用户

[root@server4 ~]# vim /etc/kibana/kibana.yml
 46 elasticsearch.username: "kibana"
 47 elasticsearch.password: "redhat"

[root@server4 ~]# systemctl restart kibana.service 	#重启服务

再去访问网页时就会需要输入用户和密码，可以直接使用elastic用户登陆，这里是没有限制的

logstash认证

logstash也需要去用户认证，在编辑的.conf文件里output下面指定用户和密码，这样去发送数据的时候就不会失败了

[root@server4 conf.d]# vim etc/logstash/conf.d/file.conf 
input {
        file {
                path => "/var/log/httpd/access_log"
                start_position => "beginning"
        }
}

output {
        stdout { }
        elasticsearch {
                hosts => "172.25.254.1:9200"
                index => "logstash-%{+YYYY.MM.dd}"
                user => "elastic"	#登陆用户
                password => "redhat"	#登陆密码
        }
}
head图形界面认证

要能使用head图形界面查看logstash还需要在，安装head的ES主机上添加一条配置

[root@server1 bin]# vim /etc/elasticsearch/elasticsearch.yml 
http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type
[root@server1 bin]# systemctl restart elasticsearch.service

重启之后再去网页访问9100端口，指定用户和密码：http://172.25.254.1:9100/?auth_user=elastic&auth_password=redhat在这里插入图片描述

Howei__
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
ELK日志分析平台搭建全过程
02-24
当生产环境有很多服务器、很多业务模块的日志需要每时每刻查看时系统：centos6.5JDK：1.8Elasticsearch-5.0.0Logstash-5.0.0kibana-5.0.01、安装JDK下载JDK：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html本环境下载的是64位tar.gz包，将安装包拷贝至安装服务器/usr/local目录[root@localhost~]#cd/usr/local/[root@localhostlocal]#tar-xzvfjdk-8u1
ELK(ElasticSearch,Logstash,Kibana)搭建实时日志分析平台
02-26
在搜索ELK资料的时候，发现这篇文章比较好，于是摘抄一小段：以下内容来自：http://baidu.blog.51cto.com/71938/1676798日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中
ELK日志平台分析（Elasticsearch安装配置+logstash数据采集+Kibana数据可视化+xpack安全验证）
Aimee_c的博客
06-12 3721
文章目录1.Elasticsearch1.1 Elasticsearch介绍1.2 Elasticsearch的安装与配置1.安装软件并修改配置文件2.修改系统限制3.修改systemd启动文件4.elasticsearch插件安装5.更换npm的yum源（要求虚拟机可上网）6.修改es主机ip和端口7.启动head插件8.修改ES跨域主持9.创建索引1.3 配置Elasticsearch集群1.4 Elasticsearch中的节点角色与优化1.Elasticsearch中的节点角色2.Elasticse
使用ELK搭建日志集中分析平台实践
01-27
Elasticsearch+Logstash+Kibana（ELK）是一套开源的日志管理方案，分析网站的访问情况时我们一般会借助Google/百度/CNZZ等方式嵌入JS做数据统计，但是当网站访问异常或者被攻击时我们需要在后台分析如Nginx的具体日志，而Nginx日志分割/GoAccess/Awstats都是相对简单的单节点解决方案，针对分布式集群或者数据量级较大时会显得心有余而力不足，而ELK的出现可以使我们从容面对新的挑战。Logstash：负责日志的收集，处理和储存Elasticsearch：负责日志检索和分析Kibana：负责日志的可视化ELK(Elasticsearch+
Elasticsearch + Logstash + Kibana 日志分析系统搭建
BXA
05-31 1906
Elasticsearch、Logstash 和 Kibana 组成了一个开源的日志分析系统简称 ELK Stack。Elasticsearch: 一个基于 Lucene 的搜索引擎，可以快速存储、检索和分析大量数据Logstash: 一个日志收集和处理工具，可以将来自不同来源的数据收集到 Elasticsearch 中Kibana: 一个数据可视化平台，可以实时地展示 Elasticsearch 存储的数据。
Elastic Stack ELK日志分析平台介绍及使用
禅与计算机程序设计艺术
08-04 1363
18年，Elasticsearch、Logstash、Kibana（ELK）以及Apache Kafka等开源技术在数据处理和日志分析领域广受关注。作为一款开源分布式搜索和分析引擎，Elastic Stack 无疑是最热门的企业级日志解决方案之一。基于它的ELK组件架构可以快速搭建日志分析平台，支持复杂日志检索、提取、分析功能，具备强大的可视化能力，还可以通过RESTful API接口调用或Python客户端进行扩展。ELK是ELK Stack中的最后一环，用于将日志信息实时地收集、存储、分析并呈现给用户。
ELK——ElasticStack日志分析平台
611 - 菜鸟运维逆袭架构师之路
07-17 1800
ELK+Kafka构建高并发分布式日志收集系统集群前言kafkakafka特性kafka与ELK相关术语ELK+kafka实战Elasticsearch集群安装配置 前言 kafka 高吞吐量的分布式发布订阅消息系统 kafka特性 通过磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量︰即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。 支持通过Kafka服务器和消费机集群来分区消息。 kafka与ELK 业务层可以直接写入到kafka
【详解】 ELK (ElasticStack) 实现日志监控
热门推荐
weixin_47255175的博客
05-10 1万+
目录 ElasticStack 介绍： Demo 实现 说在前面 案例实现流程图 创建Spring Boot 项目 项目部署、运行 Logstash配置 FileBeat配置 ES配置 Kibana配置 最终效果 前言 关于日志监控、日志管理，对于任何一个成型的系统来说都是必不可少的，之前使用Commons-IO实现过日志监控功能，实践告诉我们这个过程很繁琐，当然，并不是难实现的意思。最终是数据存在MongoDB，可是实际应用中一般没人选择这种方式。但听说ElasticS..
2023最新ELK日志平台（elasticsearch+logstash+kibana）搭建
yy的博客
07-04 8643
去年公司由于不断发展，内部自研系统越来越多，所以后来搭建了一个日志收集平台，并将日志收集功能以二方包形式引入自研系统，避免每个自研系统都要建立一套自己的日志模块，节约了开发时间，管理起来也更加容易。这篇文章主要介绍ELK最新版本的搭建，二方包的介绍可以看小霸王的另外一篇文章。Elasticsearch 是一个分布式、Restful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。
ElasticStack日志分析平台－ES 集群、Kibana与Kafka
最新发布
weixin_61428407的博客
11-16 1676
ElasticStack日志分析平台－ES 集群、Kibana与Kafka
搭建Elasticsearch和kibana完成初步ELK日志分析平台搭建
kali_yao的博客
03-07 2152
1.ELK概述 ELK是什么? 注：主要作用是搭建分布式日志集群平台 -Elasticsearch:负责日志检索和储存 -Logstash:负责日志的收集和分析、处理 -Kibana:负责日志的可视化 -ELK是一整套解决方案，是三个软件产品的首字母缩写，很多公司都在使用，如:Sina、携程、华为、美团等 -这三款软件都是开源软件，通常是配合使用，而且又先后归于Elastic.co公司名下，故被简称为ELK ELK架构图例 左边是web集群，中间是logstach日志处理，右
如何开发Kibana与Elasticsearch结合的报表系统
运维打怪晋级之路
09-08 611
Kibana与Elasticsearch结合定制企业报表系统 选择Data Table 添加最大耗时 分组分桶 再次添加一个分桶 此时报表已经做好了！下载内容如下： 此时我们还可以把kibana查询的配置转换为Lucene的查询语法，方法如下： 复制Request内容进行查询如下： Lucene的查询语法如下： POST gt-isc-open-aifgw-log-openstep_2021_09_08/_search { "aggs": { "3": { .
一站式 Elasticsearch 集群指标监控与运维管控平台
程序员Linc
02-09 1130
管控侧运维成本降低：提供功能强大和易用的管控平台，开发和运维可以方便的操作集群管控、索引管控、权限管控，降低服务运维成本；提供全面和丰富的监控指标，方便开发和运维快速掌握集群的运行时状态。KnowSearch 采用前后端分离架构，前端工程包括arius-console，后端工程包括arius-admin(管控服务)、arius-gateway(网关服务)平台侧服务易用性提升：提供功能强大和易用的用户控制台，提供索引、集群、mapping 等常用操作，降低用户使用 ElasticSearch 的成本。
ELK日志实时分析平台--Elastic篇
CMLXZL的博客
08-20 333
ELK日志实时分析平台概述环境搭建ElasticSearch安装 概述 日志统一手机、管理、访问。查找问题方便安全，收集放到搜索引擎中。E：ElasticSearch：分布式搜索引擎存储库，NoSql，核心是倒排索引库，可以存TB级的数据。 ElasticSearch 基于Lucene的分布式全文搜索框架，可以对logs进行分布式存储，有点像hdfs。此为ELK的核心组件，日志的分析以及存储全部由es完成 LogStash 可以流放到各自的服务器上收集Log日志，通过内置的ElasticSearch插件解
基于ELK搭建网站实时日志监控平台
weixin_40055163的博客
10-25 1994
基于ELK搭建网站实时日志监控平台 1 为什么要用到ELK 早在传统的单体应用时代，查看日志大都通过SSH客户端登服务器去看，使用较多的命令就是 less 或者 tail。如果服务部署了好几台，就要分别登录到这几台机器上看，等到了分布式和微服务架构流行时代，一个从APP或H5发起的请求除了需要登陆服务器去排查日志，往往还会经过MQ和RPC调用远程到了别的主机继续处理，开发人员定位问题可能还需要根据TraceID或者业务唯一主键去跟踪服务的链路日志，基于传统SSH方式登陆主机查看日志的方式就像图中排查线路的工
Elasticsearch：解析和丰富日志数据以在 Elastic 平台上进行故障排除
Elastic 中国社区官方博客
01-13 495
在较早的博客文章 “”，我们讨论了收集和使用非结构化日志数据。我们了解到，将数据添加到 Elastic Stack 非常容易。到目前为止，我们所做的唯一解析是从该数据中提取时间戳，以便正确回填旧数据。我们还谈到了在博客末尾搜索这种非结构化数据。虽然非结构化数据在与全文搜索功能结合使用时非常有用，但在某些情况下，我们需要更多的结构来使用数据来回答我们的问题。
ELK企业级日志分析平台（一）
Gong_yz的博客
03-27 1018
首先完成elasticsearch和logstash的部署
Elasticsearch(简称ES)实现日报表、月报表、年报表统计，没数据补0
JRocks的博客
02-18 6865
前言： 这是1张相对简单些报表示例，用sql语句也能实现，但主要是为了便于大家理解ES聚合实现报表的使用方法。 之前写过"java实现日报表、月报表统计，没数据补0"文章，https://blog.csdn.net/JRocks/article/details/113841913，方法是用sql语句查询数据库得到结果，然后通过java代码实现日期无数据自动补0，这种方法是非常简单方便。 但也有弊端，如有些数据展示用sql语句关联查询非常麻烦并且效率低下、或者说是sql语句实现不了、又或者sql+java代码
分布式搜索与数据分析平台elasticsearch-学习平台搭建
三禾工作室
04-27 451
大数据时代，Hadoop生态是最主流的生态，但是elasticsearch及ELKB形成的生态，基于搜索的思路，形成独树一帜的大数据平台。 elasticsearch学习平台的构建，参考《ElasticSearch最新版快速入门详解 》，本文基于CentOS7.6，IP地址是192.168.10.51。 1. Docker支持，参考《CentOS 7安装docker环境 》 yum install -y yum-utils device-mapper-persistent-data lvm2 #添.
elk流量分析平台搭建步骤
09-08
搭建ELK（Elasticsearch, Logstash, Kibana）流量分析平台的步骤如下： 步骤1：安装Elasticsearch - 下载并安装Elasticsearch，根据操作系统的不同，安装过程可能会有所不同。 - 配置Elasticsearch的相关参数，如监听地址、集群名称等。 - 启动Elasticsearch服务。 步骤2：安装Logstash - 下载并安装Logstash，同样根据操作系统的不同，安装过程可能会有所不同。 - 配置Logstash的输入插件，例如Filebeat、Beats等，用于收集日志数据。 - 配置Logstash的输出插件，将数据传输到Elasticsearch中。 - 启动Logstash服务。 步骤3：安装Kibana - 下载并安装Kibana，同样根据操作系统的不同，安装过程可能会有所不同。 - 配置Kibana的相关参数，如Elasticsearch的地址、端口等。 - 启动Kibana服务。 步骤4：配置数据收集 - 在Logstash中配置数据收集的规则，例如通过Filebeat收集日志文件、通过Beats收集网络流量等。 - 确保Logstash能够正确接收和解析数据，并将其发送到Elasticsearch。 步骤5：可视化和分析 - 打开Kibana的Web界面，在控制台上创建索引模式，用于指定要在Kibana中进行可视化和分析的数据源。 - 使用Kibana的查询语言（如Lucene查询语法或KQL）进行数据搜索和过滤。 - 创建仪表板和可视化图表，以展示数据分析结果。 以上是ELK流量分析平台的搭建步骤，希望对你有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Howei__

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值