filebeat部署与实践

1、elk说明
elk全称：
elasticsearch:
是一个分布式、高扩展、高实时的搜索与数据分析引擎;简称es
logstash:
是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中;如elasticsearch中
kibana:
是为 Elasticsearch设计的开源分析和可视化平台。你可以使用 Kibana 来搜索，查看存储在 Elasticsearch 索引中的数据并与之交互。你可以很容易实现高级的数据分析和可视化，以图标的形式展现出来。
以上三个组件就是常说的elk~

2、快速部署配置elk
1）部署环境：
Centos7,本文基于7.x部署
172.16.0.213 elasticsearch
172.16.0.217 elasticsearch
172.16.0.219 elasticsearch kibana
kibana只要在其中一台部署即可;
2)配置官方yum源
三台均配置repo源

$ cat /etc/yum.repos.d/elast.repo
[elasticsearch-7.x]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
3)安装
$ cat /etc/hosts
172.16.0.213 ickey-elk-213
172.16.0.217 ickey-elk-217
172.16.0.219 ickey-elk-219
$ yum install elasticsearch -y

4）配置

$ cat /etc/elasticsearch/elasticsearch.yml
cluster.name: elk_test ### 集群名
node.name: ickey-elk-217 ### 节点名需要按节点配置
node.master: true
node.data: true
path.data: /var/log/elasticsearch/data
path.logs: /var/log/elasticsearch/logs
network.host: 172.16.0.217 ### 节点ip
transport.tcp.port: 9300
transport.tcp.compress: true
http.port: 9200
http.max_content_length: 100mb
bootstrap.memory_lock: true
discovery.seed_hosts: [“172.16.0.213”,“172.16.0.217”,“172.16.0.219”]
cluster.initial_master_nodes: [“172.16.0.213”,“172.16.0.217”,“172.16.0.219”]
gateway.recover_after_nodes: 2
gateway.recover_after_time: 5m
gateway.expected_nodes: 3
修改elasticsearch启动内存分配：
$ /etc/elasticsearch/jvm.options 中
-Xms4g
-Xmx4g
内在一般是系统内存80%左右;分别表示预加载内存和最高使用内存
此时启动elasticsearch
$ systemctl elasticsearch start

5）安装kibana
就在219上安装
$ yum install kinbana -y
配置

$ cat /etc/kibana/kibana.yml|egrep -v “(^$|#)”
server.port: 5601
server.host: “172.16.0.219”
server.name: “ickey-elk-219”
elasticsearch.hosts: [“http://172.16.0.213:9200”,“http://172.16.0.217:9200”,“http://172.16.0.219:9200”]
elasticsearch.username: “kibana”
elasticsearch.password: “pass”
elasticsearch.requestTimeout: 40000
logging.dest: /var/log/kibana/kibana.log # 日志输出，默认输出到了/var/log/message
i18n.locale: “zh-CN” # 中文界面
详情配置参考：
https://www.elastic.co/guide/cn/kibana/current/settings.html

2、logstash安装配置及实践
上面已经所存储搜索的es和展示及搜索图片化的kibana安装配置完成，数据获取部分就需要logstash和beat这里主要使用到了logstash和filebeat
lostash收集日志比较重量级，配置也相对复杂点;可定制收集的功能也很多，这里除了安装给也常见配置整理：
1）安装
通过yum源安装，安装源同上
yum install logstash -y
logstash需要jdk支持;因此需要先安装配置java jdk版本1.8及以上即可;
这里安装 jdk-8u211-linux-x64.rpm

c a t / e t c / p r o f i l e . d / j a v a . s h x p o r t J A V A H O M E = / u s r / j a v a / l a t e s t e x p o r t J A V A B I N = cat /etc/profile.d/java.sh xport JAVA_HOME=