我这个是mac下的环境,是自己一步步搭建出来的,总结下来,小伙伴可以按照我的套路实现以下
先在终端执行以下命令安装 Homebrew 然后再安装wget
/usr/bin/ruby -e "$(curl -fsSL http://raw.githubusercontent.com/Homebrew/install/master/install)"
等到出现以下窗口的时间按回车键
Homebrew 完成安装后如下图所示:
2、安装 wget
有了 Homebrew 安装 wget 就非常方便了,使用命令:brew install wget 即可完成安装,如下所示:
至此,wget 就完成安装可以用了。我们可以打开 help 试试:
以上安装完成后就可以进行ELK下载安装
下载 Elasticsearch
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.3.0-linux-x86_64.tar.gz
解压 Elasticsearch
tar -zxvf elasticsearch-7.3.0-linux-x86_64.tar.gz
修改 Elasticsearch 的配置文件
cd elasticsearch-7.3.0/config/
vim elasticsearch.yml
由于默认的配置文件全注释掉了,所以直接在文件末尾添加。 注意:不同的版本对应的配置可以不一致,对照一下注释掉的文档是否包含以下配置。
# 如果需要部署集群,集群需要同样的集群名
cluster.name: my-application
# 每个 node 的名字需要唯一
node.name: node-1
# 注意一定要是路径后面加上/var/lib/elasticsearch/nodes,要不然无法加入集群,单机不需要
# path.data: /var/lib/elasticsearch/nodes
# path.logs: /var/log/elasticsearch
# 配置服务器的内网地址,有文档配置的 0.0.0.0 或 localhost,但是后面出现了问题,暂未研究什么原因
network.host: 192.168.0.146
# 配置端口号,默认 9200
http.port: 9200
# 配置集群节点,多个服务器["node-1", "node-2"]
cluster.initial_master_nodes: ["node-1"]
# discovery.seed_hosts: ["192.168.0.146", "192.168.0.147", "192.168.0.148"]
# 解决跨域
http.cors.enabled: true
http.cors.allow-origin: "*"
启动 Elasticsearch
其中/config/jvm.options 为启动的 JVM 配置,默认为-Xms1g -Xmx1g ….该配置根据自己的实际需求修改。 注意:启动时,不可以使用 root 用户。 进入 Elasticsearch 上级这里我们创建一个 elsearch 用户
# 创建 elsearch 组
groupadd elsearch
useradd elsearch(用户名) -g elsearch(组名) -p elsearch(密码)
# 给新创建用户文件夹执行权限
chown -R elsearch:elsearch /usr/local/elasticsearch-7.3.0
# 切换 elsearch 用户
su elsearch
进入 bin 目录
sh elasticsearch &
启动成功后,访问 http://192.168.0.146:9200/ ,得到以下截图,表示启动成功
安装 ElasticSearch 的 Head 插件
注意:安装 head 需要安装 node 和 npm 下载地址:https://github.com/mobz/elasticsearch-head.git 下载后执行:
# 安装 module
npm install
# 运行 head 插件
npm run start
访问界面 http://192.168.0.146:9100/ 得到以下界面,(我的以下界面,已经添加了日志
常见的问题
使用 root 用户启动,需要切换 elsearch 用户启动。
具体参考:https://blog.csdn.net/u013083576/article/details/78499884 (这篇博客整理的比较全面,遇到了再补充)
Logstash 搭建
Logstash 下载
下载 Logstash
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.3.0.tar.gz
解压 Logstash
tar -zxvf logstash-7.3.0.tar.gz
stash 第一个事件
Logstash 管道有两个必需元素,输入和输出,以及一个可选元素 filter。 输入插件使用来自源的数据,过滤器插件在您指定时修改数据,输出插件将数据写入目标
要测试 Logstash 安装成功,运行最基本的 Logstash 管道。 执行以下的命令
bin/logstash -e 'input { stdin { } } output { stdout {} }'
-e 标志使您可以直接从命令行指定配置。 通过在命令行指定配置,可以快速测试配置,而无需在迭代之间编辑文件。 示例中的管道从标准输入 stdin 获取输入,并以结构化格式将输入移动到标准输出 stdout。 启动 Logstash 后,等到看到“Pipeline main started”,然后在命令提示符下输入 hello world,显示的如下:
hello world
{
"host" => "VM_0_13_centos",
"message" => "hello world",
"@version" => "1",
"@timestamp" => 2019-07-02T06:26:28.684Z
}
配置 logstash 输出到 elasticsearch
修改 logstash 的安装目录的 config 目录下的 logstash-sample.conf 文件
cd logstash-7.3.0/config/
vim logstash-sample.conf
修改完配置如下:
input {
beats {
port => 5044
}
tcp {
port => 4569
codec => "json"
}
}
output {
if[appname] != "" {
elasticsearch {
hosts => ["http://192.168.0.146:9200"]
index => "%{[appName]}-%{+YYYY.MM.dd}"
}
} else {
elasticsearch {
hosts => ["http://192.168.0.146:9200"]
index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
}
}
}
更多配置参照官网教程:https://www.elastic.co/guide/en/logstash/current/advanced-pipeline.html 其中:
beats 为结合 filebeat 使用。
tcp 为通过 tcp 协议的通道。注意 codec 为 json 格式。por 为请求的端口号。
elasticsearch 为输出到 elasticsearch ,也可以配置其他。更多详细见下面文档 配置详细解释 可以参考该 logstash 手册:https://doc.yonyoucloud.com/doc/logstash-best-practice-cn/getstart/helloworld.html
logstash 结合 filebeat 使用
logstash 结合 filebeat 在分布式系统中,一台主机可能有多个应用,应用将日志输出到主机的指定目录,这时由 logstash 来搬运日志并解析日志,然后输出到 elasticsearch 上。由于于 logstash 是 java 应用,解析日志是非的消耗 cpu 和内存,logstash 安装在应用部署的机器上显得非常的笨重。最常见的做法是用 filebeat 部署在应用的机器上,logstash 单独部署,然后由 filebeat 将日志输出给 logstash 解析,解析完由 logstash 再传给 elasticsearch。
下载 filebeat,下载命令如下:
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.3.0-linux-x86_64.tar.gz
tar -zxvf filebeat-7.3.0-linux-x86_64.tar.gz
cd /filebeat-7.3.0-linux-x86_64/
vim filebeat.yml 修改配置:
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/service.log
output.logstash:
hosts: ["192.168.1.146:5044"]
主要配置的是日志的搜集目录为/var/log/service.log,这个目录是应用 service 输出日志的文件。输出到 logstsh 的地址为 192.168.1.146
启动 filebeat,执行以下命令:
sudo chown root filebeat.yml
sudo ./filebeat -e >filebeat.log 2>&1 &
这样日志就传输到了 logstash, 然后通过 logstash 输出到 elasticsearch
具体效果需要结合 Kibana 或者通过 elasticsearch-head 查看
SpringCloud + logstash 结合 logbak 使用
在 pom 文件引用
<!--logback 日志-->
<dependency>
<groupId>net.logstash.logback</groupId>
<artifactId>logstash-logback-encoder</artifactId>
<version>5.2</version>
</dependency>
在 resources 添加 logbak 的配置文件 logback-spring.xml:
<?xml version="1.0" encoding="UTF-8"?>
<configuration scan="true" scanPeriod="60 seconds">
<!-- 定义参数 -->
<property name="log.pattern" value="%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n" />
<!-- 控制台打印设置 -->
<appender name="consoleAppender" class="ch.qos.logback.core.ConsoleAppender">
<encoder>
<pattern>${log.pattern}</pattern>
</encoder>
</appender>
<!-- logstash 设置 -->
<appender name="logstash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<param name="Encoding" value="UTF-8"/>
<!-- logstash 服务器 ip -->
<remoteHost>192.168.0.146</remoteHost>
<!-- logstash tcp 端口-->
<port>4569</port>
<!-- <filter class="com.program.interceptor.ELKFilter"/>-->//引入过滤类
<!-- encoder is required -->
<encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" >
<customFields>{"appname":"ceshi"}</customFields> // 索引名
</encoder>
</appender>
<root level="info">
<appender-ref ref="consoleAppender" />
<appender-ref ref="logstash"/>
</root>
</configuration>
其中{“appname”:“ceshi”} 对应 logstash 配置文件中的 appname,为创建的索引名。 可以在 Kibana 索引管理中根据名称进行分区搜索。根据自己的需求来,这里只做演示。
编写测试方法:
@Slf4j
@RestController
public class TestController {
@RequestMapping(value = "/test")
public String test(String id) {
log.info("这是一个日志测试的 controller");
return "这是一个日志测试的 controller";
}
}
请求该方法,在 Kibana 中便可搜索到这条消息。(我这里做了接口拦截日志,展示的有些不一致,这里只做效果展示用)
Kibana 搭建
kibana 作为 ElastciSearch 的数据查询展示界面,集成了很多的功能,本文主要讲述如下部署 kibana。
下载 Kibana
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.3.0-linux-x86_64.tar.gz
解压 Kibana
tar -zxvf kibana-7.3.0-linux-x86_64.tar.gz
修改 Kibana 的配置文件
cd kibana-7.3.0/config/
vim kibana.yml
修改配置文件如下:
# 端口
server.port: 5601
# 指定本机 ip 让外部能访问
server.host: "0.0.0.0"
# 请求数据指向的 elasticsearch 服务器
elasticsearch.hosts: ["http://192.168.0.146:9200"]
配置完启动 kibana,进入 bin 目录执行
sh kibana &
访问 http://192.168.0.146:5601, 得到以下页面,代表启动成功。
查看通过 logstash 传输的日志列表
配置索引模
查看日志
本文就到这里了,这里只是简单的介绍了 ELK 的基础安装使用,更多的高级功能,还需要小伙伴自己去挖掘。 如果有什么问题,欢迎留言一起讨论。