本地搭建ELK--JAVA版230226

十二夜岚风

已于 2023-02-26 21:17:03 修改

阅读量315

点赞数

分类专栏： linux elk 文章标签： java elk elasticsearch

于 2023-02-26 16:22:00 首次发布

本文链接：https://blog.csdn.net/PASSERYFFF/article/details/129225409

版权

linux 同时被 2 个专栏收录

8 篇文章 0 订阅

订阅专栏

elk

2 篇文章 0 订阅

订阅专栏

本地搭建ELK--JAVA版

一、ELK分析
二、ELK部署
三、 ES、Kibana、Logstash密码配置
四、ELK与项目结合

一、ELK分析

对于ELK，主要是分为Elastic Search、Logstash和Kibana三部分：其中Logstash作为日志的汇聚，可以通过input、filter、output三部分，把日志收集、过滤、输出到Elastic Search中（也可以输出到文件或其他载体）；Elastic Search作为开源的分布式引擎，提供了搜集、分析、存储数据的功能，采用的是restful接口的风格；Kibana则是作为Elastic Search分析数据的页面展示，可以进行对日志的分析、汇总、监控和搜索日志用。

二、ELK部署

Elasticsearch 官网elasticsearch-6.3.0.tar

Kibana 官网kibana-6.3.0下载 linux64位

Logstash 官网logstash-6.3.0.tar

网盘资源链接：链接：https://pan.baidu.com/s/10FCMM8De80aWVrVyOIb7SQ?pwd=7734
提取码：7734
–来自百度网盘超级会员V5的分享

Elasticsearch安装

1.解压

tar -zxvf elasticsearch-6.3.0.tar.gz

2.修改config目录下elasticsearch.yml文件

# 在elasticsearch-6.3.0目录下创建一个data文件存储数据
path.data: "/var/local/elk/elasticsearch-6.3.0/data"
 
# 填写elasticsearch-6.3.0目录下的logs目录,记录es日志 
path.logs: "/var/local/elk/elasticsearch-6.3.0/logs"
 
# 端口号
http.port: 9200
 
# 建议改成服务器ip
network.host: 192.168.128.150

3.es不能使用root用户启动

#创建新用户及授权
groupadd es
 
useradd es -g es -p elasticsearch
 
chown -R es:es elasticsearch-6.3.0

4.启动

sudo sysctl -w vm.max_map_count=262144
sudo vi /etc/security/limits.conf
soft    nofile          65536
hard    nofile          65536

#启动前先切换用户
su es
# 后台启动
nohup ./bin/elasticsearch -d
 
# 查看是否启动成功
ps -ef|grep elasticsearch
 
# 输入此命令查看是否有json字符串
curl http://ip:9200

注意！！！7版本以上的es需要的jdk可能都是11或者以上的，而我们的项目大多数都是使用的jdk8，但是7版本以上的es自带了jdk，此时我们需要把es的启动环境jdk进行配置。

修改bin目录下的elasticsearch-env文件

 # 修改前 
 if [ ! -z "$JAVA_HOME" ]; then
    JAVA="$JAVA_HOME/bin/java"
    JAVA_TYPE="JAVA_HOME"
  else
    if [ "$(uname -s)" = "Darwin" ]; then
      # macOS has a different structure
      JAVA="$ES_HOME/jdk.app/Contents/Home/bin/java"
    else
      JAVA="$ES_HOME/jdk/bin/java"
    fi
    JAVA_TYPE="bundled jdk"
  fi
 
 
 
 
#修改后
 if [ "$(uname -s)" = "Darwin" ]; then
   # macOS has a different structure
   JAVA="$ES_HOME/jdk.app/Contents/Home/bin/java"
 else
   JAVA="$ES_HOME/jdk/bin/java"
 fi
 JAVA_TYPE="bundled jdk"

Kibana安装

1.解压

tar -zxvf kibana-6.3.0-linux-x86_64.tar.gz

2.修改配置config下的kibana.yml文件

# 端口号
server.port: 5601
 
# ip
server.host: "服务器ip"
 
# es连接
elasticsearch.url: "http://"es的ip地址":9200"

3.启动并检查

# 后台启动
nohup ./bin/kibana -d
 
# 检查是否启动成功
ps -ef|grep kibana

启动后到浏览器输入kibana的地址: ip:5601 出现以下前端页面代表es与kibana建立连接成功,否则失败。

Logstash安装

1.解压

# 解压
tar -zxvf logstash-6.3.0.tar.gz

2.配置文件配置

# 在config目录下新建一个配置文件名为:logstash.conf,配置如下
input {
  tcp {
    port => 5400
    type => "tcp_log"
    codec=> json_lines
     }
}
 
output{      
   if [type] == "tcp_log" {
                elasticsearch {
                        hosts => ["ip:9200"]
                        index => "tcplog-%{+YYYY.MM.dd}"
                }
        }   
}

启动

# 在logstash.6.3.0目录下后台启动
nohup ./bin/logstash -f ./config/logstash.conf &
 
# 检查是否成功
ps -ef|grep logstash

经过以上配置,elk基本就已经搭建完成了,能够满足正常的使用,但是企业中实战完全不够,因为安全性不够好,es与kibana默认都是没有密码的需要配置密码。

安装配置 Filebeat

1.运行以下命令将 Elasticsearch 公共 GPG 密钥导入 rpm：

[root@node1 ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

2.在/etc/yum.repos.d/目录中，创建一个名为elastic.repo的文件，添加下面配置：

[elastic-5.x]
name=Elastic repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

3.安装 Filebeat：

[root@node1 ~]# yum makecache && yum install filebeat -y

4.设置开机启动，以及启动系统服务：

[root@node1 ~]# sudo /bin/systemctl daemon-reload
[root@node1 ~]# sudo /bin/systemctl enable filebeat.service

5.编辑配置文件：

[root@node1 ~]# vi /etc/filebeat/filebeat.yml
filebeat.prospectors:
- type: log
   paths:
      - /var/log/messages  # 指定需要收集的日志文件的路径

output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["node:9200"]  # 配置 Elasticsearch 服务器的 IP 地址

6.启动 Filebeat 服务：

[root@node1 ～]# systemctl start filebeat

查看 Filebeat 服务状态：

[root@node1 ～]# systemctl status filebeat
filebeat.service - filebeat
   Loaded: loaded (/usr/lib/systemd/system/filebeat.service; enabled)
   Active: active (running) since 二 2018-05-15 09:29:44 CEST; 1min 12s ago
     Docs: https://www.elastic.co/guide/en/beats/filebeat/current/index.html
 Main PID: 12332 (filebeat)
   CGroup: /system.slice/filebeat.service
           └─12332 /usr/share/filebeat/bin/filebeat -c /etc/filebeat/filebeat.yml -path.home /usr/...

5月 15 09:29:44 node1 systemd[1]: Started filebeat.

Filebeat 采集的日志数据，在 Kibana 中显示

查看 Elasticsearch 索引列表，可以看到生成了filebeat-*类型的日志数据：

[root@node1 ～]# curl http://node1:9200/_cat/indices?v
health status index                  uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   twitter                k1KnzWyYRDeckjt7GASh8w   5   1          1            0      5.2kb          5.2kb
yellow open   .kibana                8zJGQkq8TwC4s3JJLMX44g   1   1          6            0     33.3kb         33.3kb
yellow open   system-syslog-2018.05  0aKfJeOmTZ6yen9eSlCOig   5   1        689            0    652.3kb        652.3kb
yellow open   filebeat-2018.05.15    K852lKlgSaKG6-hE_GNB4w   5   1      27417            0      6.7mb          6.7mb
yellow open   zipkin:span-2018-05-15 8vnm9SJvSlK-cAtakK8VeQ   3   1          9            0     47.3kb         47.3kb
yellow open   zipkin:span-2018-05-14 TZ-MmJpoSs-NwjHjxEvhFQ   3   1        219            0    127.1kb        127.1kb
yellow open   student                iZPqPcwrQbifGOfE9DQYvg   5   1          0            0       955b           955b

三、 ES、Kibana、Logstash密码配置

ES密码设置

1.关于x-pack插件

x-pack是elasticsearch的一个扩展包，将安全，警告，监视，图形和报告功能捆绑在一个易于安装的软件包中，可以轻松的启用或者关闭一些功能。默认我们的elk部署后，可以直接就进入web管理界面，这样会带来极大的安全隐患。

es的密码配置需要借助x-pack插件,若是6.3.0之前的版本需要下载插件，6.3.0以后都不需要下载，如果需要下载则按一下进行操作:

# 在es的目录下进行下载
./elasticsearch-plugin install x-pack

在es的config目录下elasticsearch.yml中添加如下配置

# 开启集群中http传输,我搭建的为单机
xpack.security.transport.ssl.enabled: true
 
# 开启xpack
xpack.security.enabled: true
 
# 是否支持跨域，默认为false
http.cors.enabled: true
 
# 当设置允许跨域，默认为*,表示支持所有域名，如果我们只是允许某些网站能访问，那么可以使用正则表达式。比如只允许本地地址。 /https?:\/\/localhost(:[0-9]+)?/
http.cors.allow-origin: "*"
 
# 请求头设置,可有可无
http.cors.allow-headers: "Authorization"

3.启动es

#启动前先切换用户
 
su es
 
# 后台启动
nohup ./bin/elasticsearch -d
 
# 查看是否启动成功
ps -ef|grep elasticsearch
 
# 输入此命令查看是否有json字符串
curl http://ip:9200

4.设置密码

# 在es的bin目录下以交互的方式设置密码
./bin/elasticsearch-setup-passwords interactive

此时可能会出现错误,报错信息如下:

Unexpected response code [403] from calling GET http://10.10.1.10:9200/_xpack/security/_authenticate?pretty
It doesn't look like the X-Pack security feature is available on this Elasticsearch node.
Please check if you have installed a license that allows access to X-Pack Security feature.
 
ERROR: X-Pack Security is not available.

没有关系,你只需要等等等等,不出五分钟你会发现你去浏览器访问es的时候需要你输入密码

若是还是不需要密码即可访问es的界面,请参考以下博客：

CentOS7上安装配置破解Elasticsearch+Kibana 6.4.2-6.5.1全过程_WolfBolin的博客-CSDN博客

当出现可以需要密码访问es时候执行以下命令,进行密码配置：

./bin/elasticsearch-setup-passwords interactive

然后按照以下步骤配置密码es,kibana以及logstash密码

[root@sbox-tt bin]# ./elasticsearch-setup-passwords interactive
Initiating the setup of passwords for reserved users elastic,kibana,logstash_system,beats_system.
You will be prompted to enter passwords as the process progresses.
Please confirm that you would like to continue [y/N]y
 
 
Enter password for [elastic]: 
passwords must be at least [6] characters long
Try again.
Enter password for [elastic]: 
Reenter password for [elastic]: 
Passwords do not match.
Try again.
Enter password for [elastic]: 
Reenter password for [elastic]: 
Enter password for [kibana]: 
Reenter password for [kibana]: 
Enter password for [logstash_system]: 
Reenter password for [logstash_system]: 
Enter password for [beats_system]: 
Reenter password for [beats_system]: 
Changed password for user [kibana]
Changed password for user [logstash_system]
Changed password for user [beats_system]
Changed password for user [elastic]

Kibana密码设置

由于es已经设置好了密码,此时如果kibana想要从es中获取数据就必须进行账号密码配置,在kibana的config目录下进行Kibana.yml配置如下

# 默认用户为elastic
elasticsearch.username: "elastic"
elasticsearch.password: "密码"

Logstash密码设置

logstash需要把收集来的数据传输到es,这个时候需把前面配置好的logstash.conf文件进行更改:

# tcp表示以tcp的方式进行日志传输,此方式更好与项目结合
input {
  tcp {
    port => 5400
    type => "tcp_log"
    codec=> json_lines
     }
  tcp{
    port => 5301
    type => "tcp_data"
    codec=> json_lines
  }
}
 
output{      
   if [type] == "tcp_log" {
                elasticsearch {
                        hosts => ["ip:9200"]
                        index => "tcplog-%{+YYYY.MM.dd}"
                        user  => elastic
                        password => 密码
                }
        }
   if [type] == "tcp_data" {
                elasticsearch {
                        hosts => ["ip:9200"]
                        index => "%{[appname]}-%{+YYYY.MM.dd}"
                        user  => elastic
                        password => 密码
                }
        }     
}

登录Kibana,浏览器访问:ip:5601,出现以下界面:

Kibana的superuser的账号为:elastic 密码为前面设置好的密码。登录后,elk及搭建完成。

四、ELK与项目结合

1、SpringBoot与LogBack日志配置

SpringBoot项目中引入jar包,该jar包起到Socket通过TCP方式向Logstash进行日志传输。

    <dependency>
        <groupId>net.logstash.logback</groupId>
        <artifactId>logstash-logback-encoder</artifactId>
        <version>5.3</version>
    </dependency>

2.接着增加logback-spring.xml配置文件如下:

<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false">
    <property name="LOG_HOME" value="logs/demo.log" />
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
        </encoder>
    </appender>
 
    <appender name="logstash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <!--此处为logstash的ip以及通信的端口,在logstash.conf文件中可以查看-->
        <destination>ip:5301</destination>
        <encoder class="net.logstash.logback.encoder.LogstashEncoder" >
            <!--此处的appname 为项目中独有的日志名字,在logstash.config文件中有配置-->
            <customFields>{"appname": "pay_mode"}</customFields>
        </encoder>
</appender>

<root level="INFO">
    <appender-ref ref="STDOUT" />
    <appender-ref ref="logstash" />
</root>