搭建ELK日志分析
1.0.1 配置ELK环境
2.0.1 配置 20.0.0.12 apache服务器
-
安装logstash并做一些日志搜索输入到elasticsearch中
-
登录主机 20.0.0.12关闭防火墙 关闭核心防护
1.更改主机名
hostnamectl set-hostname apache
2.安装Apache服务(httpd)
安装http服务
yum -y install httpd
启动http服务
systemctl start httpd
3.安装java环境
java -version #如果没有装 输入 yum -y install java
4.安装logstash
上传logstash-5.5.1.rpm到/opt目录下
cd /opt
rpm -ivh logstash-5.5.1.rpm ##安装logstash
systemctl start logstash.service ##启动logstash
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/ ##建立logstash软连接
5.logstash(Apache) 与elasticsearch(node)功能是否正常,做对接测试
- Logstash这个命令测试
- 字段描述解释:
- -f 通过这个选项可以指定logstash的配置文件,根据配置文件配置logstash
- -e 后面跟着字符串 该字符串可以被当作logstash的配置(如果“ ”,则默认使用stdin做为输入,stdout作为输出)
- -t 测试配置文件是否正确,然后退出
6.输入采用标准输入 输出采用标准输出 登录 20.0.0.12 在Apache服务器上
logstash -e ‘input { stdin{} } output { stdout{} }’
....省略....
www.baidu.com #需要输入
www.sina.com.cn #需要输入
7.使用rubydebug显示详细输出,codec为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug }}'
...省略...
www.baidu.com #需要输入
- 使用logstash将信息写入 elasticsearch中 输入 输出 对接
logstash -e 'input { stdin{} } output { elasticsearch {hosts=>["20.0.0.10:9200"]}}'
...省略...
www.baidu.com #输入内容
www.sina.com.cn #输入内容
www.google.com.cn #输入内容
8.登录 真机
- 打开浏览器 数 http://20.0.0.10:9100/ 查看索引信息
- 多出logstash-2020.4.16
- 点击数浏览查看响应的内容
2.0.2 登录20.0.0.12Apache主机 做对接配置
- logstash配置文件
- kigstash配置文件主要由三部分组成:input,output,filter(根据需要)
chomod o+r /var/log/messages
ll /var/log/messages
添加信息
vi /etc/logstash/conf.d/system.conf
input{
file{
path => "/var/log/messages"
type => "system"
start_position => "beginning"
}
}
output{
elasticsearch{
hosts => ["20.0.0.10:9200"]
index => "system-%{+YYYY.MM.dd}"
}
}
保存后退出来 重启logstash
systemctl restart logstash
- 登录真机
- 打开浏览器 数 http://20.0.0.10:9100/ 查看索引信息
- 多出system-2020.04.16
2.0.3 在node1主机安装kibana
- 上传kibana-5.5.1-x86_64.rpm 到/usr/local/src目录
cd /usr/local/src/
rpm -ivh kibana-5.5.1-x86_64.rpm
cd /etc/kibana/
cp kibana.yml kibana.yml.bak
vi kibana.yml
2/ server.port:5601 ##kibana打开的端口
7/ server.host:"0.0.0.0" ##kibana侦听的地址
21/ elasticsearch.url:"http://20.0.0.10:9200" ## 和elasticsearch建立联系
30/ kibana.index:".kibana" ## 在elasticsearch中添加。kibana索引
修改过后重启kibana服务
systemctl start kibana
systemctl enable kibana
3.0.1 测试方法
- 使用浏览器输入20.0.0.10:5601
- 首次登录创建一个索引名字:system-*
- lndex name or pattern ##下面输入system-*
- 然后点最下面的create 按钮创建
- 然后点左上角的Discover按钮 会返现system-*信息
- 然后点下面的host旁边的add 会发现右面的图只有Time和host选项了这个比较友好