文章目录
一、部署ELK日志分析系统
1.环境准备
准备3个节点
node1节点:192.168.226.128
node2节点:192.168.226.129
apache节点:192.168.226.130
各节点关闭防火墙及核心防护
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
2.Elasticsearch集群部署(在node1上操作)
2.1配置域名及安装JDK,设置JDK的环境变量
配置域名
vim /etc/hosts
192.168.226.128 node1
192.168.226.129 node2
192.168.226.130 apache
安装JDK,设置JDK的环境变量
cd /opt
rpm -ivh jdk-8u201-linux-x64.rpm
java -version
vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile.d/java.sh
java -version
2.2部署安装Elasticsearch软件
rpm -ivh elasticsearch-5.5.0.rpm
cd /etc/elasticsearch/
cp elasticsearch.yml elasticsearch.yml.bak
2.3配置Elasticsearch主配置文件
vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释,指定集群名字
cluster.name: ELK
--23--取消注释,指定节点名字:Node1节点为node1,Node2节点为node2
node.name: node1
--33--取消注释,指定数据存放路径
path.data: /data/elk_data
--37--取消注释,指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释,改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释,设置监听地址,0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释,ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释,集群发现通过单播实现,指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
##查看一下有效的配置,注释全去掉
grep -v "^#" /etc/elasticsearch/elasticsearch.yml
2.4创建数据存放路径并授权
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data
systemctl start elasticsearch
systemctl enable --now elasticsearch.service
netstat -napt | grep 9200
2.5查看node1节点信息
http://192.168.226.128:9200/_cluster/health?pretty
#查看健康状态
3.Elasticsearch集群部署(在node2上操作)
3.1配置域名及安装JDK,设置JDK的环境变量
配置域名
vim /etc/hosts
192.168.226.128 node1
192.168.226.129 node2
192.168.226.130 apache
安装JDK,设置JDK的环境变量
cd /opt
rpm -ivh jdk-8u201-linux-x64.rpm
java -version
vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile.d/java.sh
java -version
3.2部署安装Elasticsearch软件
rpm -ivh elasticsearch-5.5.0.rpm
cd /etc/elasticsearch/
cp elasticsearch.yml elasticsearch.yml.bak
3.3配置Elasticsearch主配置文件
将node1节点的配置文件复制到node2节点,将配置文件中节点名称改成node2
#传送配置文件
scp elasticsearch.yml root@192.168.226.129:/etc/elasticsearch/
#修改配置文件中的节点名
vim /etc/elasticsearch/elasticsearch.yml
##查看一下有效的配置,注释全去掉
grep -v "^#" /etc/elasticsearch/elasticsearch.yml
3.4创建数据存放路径并授权
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data
systemctl start elasticsearch
systemctl enable --now elasticsearch.service
netstat -napt | grep 9200
3.5查看node2节点信息
http://192.168.226.129:9200/_cluster/health?pretty
#查看健康状态
4.安装Elasticsearch-head插件(node1和node2操作一致)
Elasticsearch 在 5.0 版本后,Elasticsearch-head 插件需要作为独立服务进行安装,需要使用npm工具(NodeJS的包管理工具)安装。
安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。
node:是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
phantomjs:是一个基于 webkit 的JavaScriptAPI,可以理解为一个隐形的浏览器,任何基于 webkit 浏览器做的事情,它都可以做到。
4.1编译安装node
上传软件包 node-v8.2.1.tar.gz 到/opt
yum install gcc gcc-c++ make -y
cd /opt
tar zxf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure
make -j3 && make install
4.2安装phantomjs
上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2到opt
cd /opt
tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin
4.3安装Elasticsearch-head数据可视化工具
上传软件包 elasticsearch-head.tar.gz 到/opt
cd /opt
tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install
4.4修改Elasticseaech主配置文件
vim /etc/elasticsearch/elasticsearch.yml
--末尾添加以下内容--
http.cors.enabled: true #开启跨域访问支持,默认为false
http.cors.allow-origin: "*" #指定跨域访问允许的域名地址为所有
systemctl restart elasticsearch.service #重启服务
4.5启动elasticsearch-head服务
cd /usr/local/src/elasticsearch-head/node_modules/grunt/bin/
./grunt server #前台启动
4.6通过Elasticsearch-head查看Elasticsearch信息
浏览器访问http://192.168.226.128:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色,代表群集很健康。
4.7插入索引,进行测试
#node1节点插入
curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"lcdb","mesg":"i am superman"}'
浏览器访问 http://192.168.130.102:9100/ 查看索引信息,可以看见索引默认被分片5个,并且有一个副本。
点击“数据浏览”,会发现在node1上创建的索引为 index-demo,类型为 test 的相关信息。
5.部署Logstash服务(apache节点操作)
Logstash 一般部署在需要监控其日志的服务器。在本案例中,Logstash 部署在 Apache 服务器上,用于收集 Apache 服务器的日志信息并发送到 Elasticsearch。
5.1安装httpd服务
yum -y install httpd
systemctl start httpd
5.2安装java环境
cd /opt
rpm -ivh jdk-8u201-linux-x64.rpm
java -version
vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile.d/java.sh
java -version
5.3安装Logstash
cd /opt
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
5.4测试Logstash
Logstash命令常用选项
-f:通过这个选项可以指定 Logstash 的配置文件,根据配置文件配置 Logstash 的输入和输出流。
-e:从命令行中获取,输入、输出后面跟着字符串,该字符串可以被当作 Logstash 的配置(如果是空,则默认使用 stdin 作为输入,stdout 作为输出)。
-t:测试配置文件是否正确,然后退出。
定义输入输出流
输入采用标准输入,输出采用标准输出(类似管道)
指定数据输入端口,默认为9600~9700
logstash -e 'input { stdin{} } output { stdout{} }'
使用rundebug输出详细格式显示,codec为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
使用Logstash将信息写入Elasticsearch中
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.226.128:9200"] } }'
结果不在标准输出显示,而是发送至Elasticsearch中,可浏览器访问http://192.168.226.128:9100/查看索引信息和数据浏览
5.5定义Logstash配置文件
Logstash配置文件基本由三部分组成(根据需要选择使用)
- input:表示从数据源采集数据,常见的数据源如Kafka、日志文件等
- filter:表示数据处理层,包括对数据进行格式化处理、数据类型转换、数据过滤等,支持正则表达式
- output:表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。
修改Logstash配置文件,让其收集系统日志/var/log/messages,并将其输出到Elasticsearch中
#配置文件中定义的是收集系统日志(system)
chmod o+r /var/log/messages #给系统日志添加读权限
ll /var/log/messages
#创建配置文件
vim /etc/logstash/conf.d/syslog.conf
input {
file{
path =>"/var/log/messages"
type =>"system"
start_position =>"beginning"
}
}
output {
elasticsearch {
hosts => ["192.168.226.128:9200"]
index =>"system-%{+YYYY.MM.dd}"
}
}
systemctl restart logstash #重启服务
5.6浏览器查看索引信息
可以查看很多系统日志信息
6.Kibana部署(node1节点)
6.1安装Kibana
cd /opt
rpm -ivh kibana-5.5.1-x86_64.rpm
6.2设置Kibana的主配置文件
vim /etc/kibana/kibana.yml
--2--取消注释,Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释,设置 Kiabana 的监听地址,0.0.0.0代表所有地址
server.host: "0.0.0.0"
--21--取消注释,设置和 Elasticsearch 建立连接的地址和端口
elasticsearch.url: "http://192.168.226.128:9200"
--30--取消注释,设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"
6.3启动Kibana服务
systemctl daemon-reload
systemctl start kibana.service
systemctl enable kibana.service
netstat -natp |grep 5601
6.4验证Kibana
浏览器访问:http://192.168.226.128:5601
我们之前添加了system的日志,这里可以添加system的索引
这里切换到发现就会有数据
6.5将apache服务器的日志(访问的、错误的)添加到Elasticsearch并通过Kibana显示
vim /etc/logstash/conf.d/apache_log.conf
input {
file{
path => "/etc/httpd/logs/access_log"
type => "access"
start_position => "beginning"
}
file{
path => "/etc/httpd/logs/error_log"
type => "error"
start_position => "beginning"
}
}
output {
if [type] == "access" {
elasticsearch {
hosts => ["192.168.226.128:9200"]
index => "apache_access-%{+YYYY.MM.dd}"
}
}
if [type] == "error" {
elasticsearch {
hosts => ["192.168.226.128:9200"]
index => "apache_error-%{+YYYY.MM.dd}"
}
}
}
cd /etc//logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf
访问apache(192.168.226.130),增加日志
访问http://192.168.226.128:9100查看索引是否创建
然后去Kibana创建访问日志索引
再创建错误日志
查看日志
然后在宿主机上刷新访问,会刷新日志,可以在Kibana查看时间