ELK日志平台

ELK 日志平台搭建

1 ELK概念

ELK不是指单独的某一款软件。是由：ElasticSearch、Logstash、Kibana组成的。主要用户日志的收集，审计，过滤等。
ElasticSearch 是基于JAVA语言开发的。可以实现对数据内容进行校验。检索日志内容。可以创建索引。分布式。等等。
Logstash 是客户端工具，是基于JAVA语言编写的。主要是用于采集客户端机器上各种日志数据（系统日志，内核日志，安全日志，应用日志等）还可以对日志关键次，字段进行管理。最终将日志统一存储至ES服务器
Kibana是一款开源的免费的WEB软件程序，是基于Node js语言开发的。主要是用于通过web界面方式去管理ES集群。数据，用户通过WEB界面更加方便的查询，统计，分析ES服务器中的数据。

2 ELK日志平台工作原理：

客户端通过安装Logstash日志收集工具。通过logstash收集客户端APP的日志数据。也可以对日志进行过滤。最终将数据放入ElasticSearch存储引擎里面。然后通过Kibana GUI展示给用户，用户可以进行查看指定的日志内容。

3 ELK平台搭建

首先准备三台虚拟机，和ElasticSearch、Logstatsh、Kibana、jdk的安装包。
192.168.80.150 ElasticSearch
192.168.80.151 Kibana
192.168.80.152 Logstatsh

• 1、部署ElasticSearch

上传ElasticSearch和jdk的安装包，然后分别解压
	tar xf elasticsearch-7.11.1-linux-x86_64.tar.gz
	tar xf jdk-11.0.10_linux-x64_bin.tar.gz
然后移动解压文件到指定目录
	mv elasticsearch-7.11.1 /usr/local/elasticserach
	mv jdk-11.0.10 /usr/local/jdk
	
然后配置java的环境变量
	vim /etc/profile
在文件末尾添加
	export JAVA_HOME=/usr/local/jdk
	export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOMT/jre/lib
	export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin
然后保存
加载资源文件
	source /etc/profile
然后修改ElasticSearch的配置文件。
	vim /usr/local/elasticsearch/config/elasticsearch.yml
	

也可以使用sed命令进行修改。
cd /usr/local/elasticsearch/config/
sed -i -e '/network\.host/s/#//g' -e '/network\.host/s/192.168.0.1/0.0.0.0/g' elasticsearch.yml 
sed -i '/node.name/s/#//g' elasticsearch.yml
sed -i '/cluster\.initial/s/\, \"node-2\"//g' elasticsearch.yml
sed -i -e '/cluster\.initial/s/\, \"node-2\"//g' -e '/cluster\.initial/s/#//g' elasticsearch.yml

ES(ElasticSearch)不能使用root用户启动所以得新建用户
useradd elk
给文件夹赋权
chown -R elk. /usr/local/elasticsearch
切换elk用户，并启动
su elk
/usr/local/elasticsearch/bin/elasticsearch -d

• 2 部署 Kibana

上传Kibana 到192.168.80.151 节点的/usr/src目录下
然后解压
tar xf kibana-7.11.1-linux-x86_64.tar.gz
mv kibana-7.11.1-linux-x86_64 /usr/local/kibana
vim /usr/local/kibana/config/kibana.yml

启动Kibana
nohup sh /usr/local/kibana/bin/kibana --allow-root &
查看是否启动成功
ps -ef | grep node

启动成功之后，浏览器访问http://192.168.80.151:5601/

• 3 部署Logstash
  上传软件包到192.168.80.152节点。（需要java环境变量。如何配置参考ElasticSearch处java安装）然后解压

tar xf logstash-7.11.1-linux-x86_64.tar.gz
mv logstash-7.11.1 /usr/local/logstash/
创建日志收集文件配置
mkdir -p /usr/local/logstash/config/etc/
vim /usr/local/logstash/config/etc/demo.conf

input {
 stdin { }
}

output {
 elasticsearch {
 hosts => "192.168.80.150:9200" }
}
输入如上内容，保存。然后启动logstash
/usr/local/logstash/bin/logstash -f /usr/local/logstash/config/etc/demo.conf 
启动成功之后，在上面输入内容，就可以记录日志了。

在WEB界面查看记录的日志。





一个小白之作，作为学习笔记，记录于此。