ubuntu20.04 安装使用 elk8.x + filebeat

1. 下载公共签名密钥

   wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo gpg --dearmor -o /usr/share/keyrings/elasticsearch-keyring.gpg
   

2. 安装必要的包

   sudo apt-get install apt-transport-https
   

3. 保存存储库的定义到/etc/apt/sources.list.d/elastic-8.x.list

   echo "deb [signed-by=/usr/share/keyrings/elasticsearch-keyring.gpg] https://artifacts.elastic.co/packages/8.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-8.x.list
   

4. 更新包并且安装 elsticsearch8

   sudo apt-get update && sudo apt-get install elasticsearch
   

5. 如果有需要可以修改某些参数

   sudo nano /etc/elasticsearch/elasticsearch.yml
   

6. 启动 elasticsearch

   sudo systemctl daemon-reload
   sudo systemctl enable elasticsearch.service
   sudo systemctl start elasticsearch.service
   sudo systemctl status elasticsearch.service
   sudo systemctl restart elasticsearch.service
   sudo systemctl stop elasticsearch.service
   

7. 安装 kibana

   1. 安装公共签名密钥

      wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo gpg --dearmor -o /usr/share/keyrings/elasticsearch-keyring.gpg
      

   2. 安装必要的包

      sudo apt-get install apt-transport-https
      

   3. 保存存储库的定义到/etc/apt/sources.list.d/elastic-8.x.list

      echo "deb [signed-by=/usr/share/keyrings/elasticsearch-keyring.gpg] https://artifacts.elastic.co/packages/8.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-8.x.list
      

   4. 更新包并且安装 kibana

      sudo apt-get update && sudo apt-get install kibana
      

   5. 修改某些参数,如果不需要的话也可以不用，但是这里默认是本机访问，也就是监听地址是 localhost

      sudo nano /etc/kibana/kibana.yml
      #### 建议修改如下参数
      server.port: 5601
      server.host: 0.0.0.0
      i18n.locale: "zh-CN"
      

   6. 启动 kibana

      sudo systemctl enable kibana.service
      sudo systemctl start kibana.service
      sudo journalctl -u kibana.service
      

8. 访问 kibana

   1. 输入 http://{ip_address}:{port}

   2. 会出现一个让你输入 token 的输入框

   # 找到当前elasticsearch的位置，一般是在/usr/share/elasticsearch/bin目录下
   ./elasticsearch-create-enrollment-token -s kibana //获取token
   
   # 运行上述命令，复制出token到web界面输入框，会让你校验这token
   
   # 找到kibana的安装位置，一般是在/usr/share/kibana/bin目录下
    ./kibana-verification-code
   

   3. 一定要注意版本，elasticsearch 的版本和 kibana 的版本会不兼容的情况，比如我的 elastic 的版本是 8.3.2，kibana 的版本是 8.4.3，就不可以配置 elastic，切记 elasticsearch 不能回滚

9. 如果 kibana 的版本比 elasticsearch 高的话就直接用：

   apt-get install -y elasticsearch
   # 重新安装一次默认是拉取最新的版本
   

10. 重置密码

./elasticsearch-reset-password -u {username}

11. 安装 logstash

apt-get install -y logstash

配置 conf

input {
      beats {
      port => 5044
      }
}
output {
      stdout {
         codec => rubydebug
      }
      if [fields][tag] == 'kit-server' {
            elasticsearch {
                  hosts => ['https://192.168.33.11:9200'] # elasticsearch的地址端口
                  index => 'kit-server-%{+YYYY.MM.dd}' # 索引
                  user => 'logstash_write'  # 账号，这里最好不要用elastic这个账号，最好是自己创建一个角色然后在创建一个用户
                  password => '123456'      # 密码
                  ssl_certificate_verification => true  # 这里开启就会校验服务器证书
                  truststore => '/etc/logstash/certs/http.p12' # 这个是elasticsearch的服务器中copy过来的，可以随便放入某个地方，源文件地址一般就在/etc/elasticsearch/certs
                  truststore_password => 'Hgihr81bQDGKygqVK4pjZg' # 这个下面会讲怎么获取这个密码
            }
      }
}

   # 运行配置文件检测
   sudo -u logstash /usr/share/logstash/bin/logstash --path.settings /etc/logstash -t
   # 如果出现 Configuration OK 就是可以进行下一步
   # 配置logstash
   sudo -u logstash /usr/share/logstash/bin/logstash --path.settings /etc/logstash
   # 启动logstash
   sudo systemctl enable logstash
   sudo systemctl start logstash

如果出现 Logstash could not be started because there is already another instance using the configured data directory. If you wish to run multiple instances, you must change the “path.data” setting. 这种错误的话，去到配置文件中查看 path.data 的目录地址，然后进去目录删除一个.lock 文件

   vim /etc/logstash/logstash.yml
   // 查找path.data配置的目录

   cd {path.data}
   // 进入path.data的目录地址

   ls -alh
   //查看隐藏的文件

   rm .lock

创建用户角色

创建用户

truststore_password 密码生成

   # 进入到elasticsearch安装目录中， 一般是在/usr/share/elasticsearch
   ./bin/elasticsearch-keystore list
   ./bin/elasticsearch-keystore show xpack.security.transport.ssl.truststore.secure_password
   # 复制密码即可

12. 安装 filebeat

# 查询版本
apt-cache madison filebeat
# 安装
apt-get install filebeat

#配置filebeat，这里filebeat输出到的是logstash，只列出需要改动的地方， 文件地址一般在/etc/filebeat/filebeat.yml
  # 1. 打开输出到logstash的配置项
  output.logstash:
    # The Logstash hosts，这里的host填写你自己的
    hosts: ["192.168.33.22:5044"]
  # 2. 输入的配置项更改,这里可以参考官方的配置https://www.elastic.co/guide/en/beats/filebeat/current/configuration-filebeat-options.html
  filebeat.inputs:
  - type: log
  id: my-filestream-id
  enabled: true
  paths:
    - /var/log/go-client-*.log  #这个是测试的时候读取的文件，这里采用了通配符的写法
  fields:
    tag: kit-client     #指定的标签，再logstash中可以通过[fileds][tag]识别
  document_type: "kit-client"   #指定类型，在logstash中可以通过[type]shibie
# 启动filebeat, 进入到filebeat的安装目录，一般是在/usr/share/filebeat
./bin/filebeat -e

13. 创建数据视图
    

14. 日志文件内容
    

15. 查看日志
    

16. 可以关注一下elasticsearch的账号，在csdn上有他们的账号，上面有很多实例，可以搬移到自己的搭建过程中。第一次搭建成功也是借助了很多资料，所以记录下来供大家参考。