流程图
在需要收集日志的所有服务上部署logstash,作为logstash agent(logstash shipper)用于监控并过滤收集日志,将过滤后的内容发送到Redis,然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch,可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。
一:安装java运行环境
1: 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2: cd /usr/local/src
3: 下载64位操作的java的运行环境 : wget http://download.oracle.com/otn-pub/java/jdk/8u144-b01/090f390dda5b47b9b721c7dfaa008135/jdk-8u144-linux-x64.tar.gz
4: 解压 tar -zxvf jdk-8u144-linux-x64.tar.gz
5: 添加java的全局变量(编辑全局变量)
vim /etc/profile
JAVA_HOME=/usr/local/src/jdk1.8.0_144
CLASSPATH=.:$JAVA_HOME/lib.tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
6: 全局变量生效
source /etc/profile
7: 查看java的版本
java -version
8: 提示
openjdk version "1.8.0_144"
OpenJDK Runtime Environment (build 1.8.0_144-b14)
OpenJDK 64-Bit Server VM (build 25.102-b14, mixed mode)
二:安装elasticsearch
1.https://www.elastic.co/downloads/past-releases 下载相应版本elasticsearch
解压 tar -zxvf elasticsearch-5.4.3.tar.gz
2.修改config文件夹下的elasticsearch.yml配置文件
cluster.name: my-application
node.name: node-1
network.host: 0.0.0.0
http.port: 9200
Elasticsearch安装成功
三. 安装logstash
1.https://www.elastic.co/downloads/past-releases 下载相应版本logstash
解压 tar -zxvf logstash-5.4.3.tar.gz
设置环境变量
2.sudo vim /etc/profile添加
export PATH=$PATH:/home/zp/dowmload/logstash-5.4.3/bin
source /etc/profile
3. logstash常用参数 (1)-e :指定logstash的配置信息,可以用于快速测试;(2)-f :指定logstash的配置文件;可以用于生产环境;
测试启动logstash
logstash -e "input {stdin{}} output {stdout{}}"
logstash 测试成功
4. 将logstash redis elasticsearch结合
Redis的安装很多,就不写了
进入logstash-5.4.3文件下创建conf目录,创建配置文件logstash-redis.conf
Vi logstash-redis.conf
input{
redis {
host => "127.0.0.1"
data_type => "list" //redis数据类型
port => 6379
key => "logstash:redis" //队列key名
type => "redis-input"
}
}
output {
stdout{}
elasticsearch {
hosts => "127.0.0.1:9200" //这里可以是个数组
codec => "json" //json格式输出
}
}
运行logstash -f logstash-redis.conf
运行成功接着测试一下,打开redis-cli,往队列中插入数据
LPUSH logstash:redis test
测试成功,此时只要向redis中队列名称为logstash:redis中写入日志就可以继而被写入elasticsearch
五:安装kibana
1. https://www.elastic.co/downloads/past-releases 下载相应版本kibana
2. 解压 tar -zxvf kibana-5.4.3-linux-x86_64.tar.gz
3. 修改config下的配置文件kibana.yml
server.host: 0.0.0.0
elasticsearch.url: "http://localhost:9200"
4. 启动kibana
/bin/kibana
启动成功 访问http://192.168.1.36:5601
安装成功,接着我们测试一条数据,继续像redis中写入一条数据
写入成功