ubuntu16.04（虚拟机）下安装ELK5.6.15

 

1.安装java8环境

sudo apt install  openjdk-8-jre-headless

1.1查看java 版本

java -version

1.2为了方便后续开发，关闭防火墙

#关闭防火墙
sudo ufw disable
#查看防火墙状况
sudo ufw status

2.安装Logstash

2.1首先下载并安装公共密钥：

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

2.2在Debian上安装apt-transport-https软件包：

sudo apt-get install apt-transport-https

2.3将存储库定义保存到/etc/apt/sources.list.d/elastic-6.x.list：

#这里是选择安装的版本，如果改成6.x就会安装最新的6.x的版本

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

2.4最后更新源，可以忽略warning：

sudo apt-get update

2.5进行Logstash的安装：

sudo apt-get install logstash

2.6修改文件夹读写权限

sudo chmod 777 /usr/share/logstash/data

2.7测试配置是否正确：

/usr/share/logstash/bin/logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'

3.安装ElasticSearch

3.1之前已经添加过包源，直接使用apt安装即可：

sudo apt-get install elasticsearch

3.2修改配置：

sudo vim /etc/elasticsearch/elasticsearch.yml

3.3使用service命令启动：

sudo -i service elasticsearch start

3.4测试一下ElasticSearch有没有好好地在运行：

curl -X GET http://localhost:9200/

3.5查看Elasticsearch的状态：

service elasticsearch status

4.安装Kibana：

4.1之前已经提供包源头直接使用apt进行安装即可：

sudo apt-get install kibana

4.2修改配置文件：

sudo vim /usr/share/kibana/config/kibana.yml

或者

sudo vim /etc/kibana/kibana.yml

使用默认配置就可以了，需要使用高级功能参考：官方详细配置方法

#如果连接不上，可以在elasticsearch.yml中添加配置：

sudo vim /etc/elasticsearch/elasticsearch.yml

http.cors.enabled: true
http.cors.allow-origin: "*"

4.3使用service命令启动：

sudo -i service kibana start

service kibana status

4.4用浏览器登录页面查看：

#在浏览器中输入服务器ip，进程端口号为5601（默认)
https://localhost:5601

5.安装filebeat

5.1之前已经提供包源头直接使用apt进行安装即可：

sudo apt-get update && sudo apt-get install filebeat

5.2将Filebeat索引模板下载到您的主目录：

cd ~

curl -O https://gist.githubusercontent.com/thisismitch/3429023e8438cc25b86c/raw/d8c479e2a1adcea8b1fe86570e42abab0f10f364/filebeat-index-template.json

5.3加载模板：

curl -XPUT 'http://localhost:9200/_template/filebeat?pretty' -d@filebeat-index-template.json

5.4设置Filebeat（添加客户端服务器）

5.4.1 复制SSL证书

#注意将client_server_private_address替换为你客户端主机IP，将user替换为你的用户名

scp /etc/pki/tls/certs/logstash-forwarder.crt user@client_server_private_address:/tmp

5.4.2客户端服务器上，将ELK服务器的SSL证书复制到适当的位置

sudo mkdir -p /etc/pki/tls/certs

sudo cp /tmp/logstash-forwarder.crt /etc/pki/tls/certs/

5.5安装Filebeat包：

5.5.1在客户端服务器上，创建Beats源列表：

echo "deb https://packages.elastic.co/beats/apt stable main" |  sudo tee -a /etc/apt/sources.list.d/beats.list

5.5.2使用与Elasticsearch相同的GPG密钥，可以使用以下命令安装：

wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

5.5.3安装Filebeat包：

sudo apt-get update
sudo apt-get install filebeat

5.6配置filebeat

vim /etc/filebeat/filebeat.yml

#注意！yml文件具有严格的缩进，请务必保持一致
filebeat:
  prospectors:
    -
      paths:
        - /var/log/auth.log
        - /var/log/syslog
      #  - /var/log/*.log

      input_type: log
      
      document_type: syslog

  registry_file: /var/lib/filebeat/registry

output:
  logstash:
    hosts: ["elk_server_private_ip:5044"]
    bulk_max_size: 1024

    tls:
      certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"]

shipper:

logging:
  files:
    rotateeverybytes: 10485760 # = 10MB

5.7重新启动Filebeat以将我们的更改放到位：

sudo systemctl restart filebeat
sudo systemctl enable filebeat

5.8测试文件安装：

在ELK服务器上，通过使用以下命令查询Filebeat索引，验证Elasticsearch是否确实正在接收数据：

curl -XGET 'http://localhost:9200/filebeat-*/_search?pretty'

如果您的输出显示总命中数为0，则Elasticsearch不会在您搜索的索引下加载任何日志，您应该检查设置是否有错误。如果收到预期输出，请继续执行下一步。

5.10连接Kibana

5.10.1在Web浏览器中，转到ELK服务器的FQDN或公共IP地址

6.参考文档

https://www.jianshu.com/p/43e3a2f437fd?tdsourcetag=s_pctim_aiomsg
https://www.howtoing.com/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-ubuntu-16-04?tdsourcetag=s_pctim_aiomsg

7.友情链接

1.常见的配置错误及解决办法

2.ELK常见问题及解决办法

3.curl: (7) Failed connect to 192.168.109.131:9200; 拒绝连接

4.Elasticsearch官方视频教程

5.腾讯云社区ELK安装指南