ELK原来这么简单!手把手教你搭建实时的分布式搜索和分析引擎

环境依赖:CentOS7.5,JDK1.8,ElasticSearch7.9.3,Logstash 7.9.3,Kibana7.9.3。

2.1 安装ElasticSearch

首先,到官网下载安装包,然后使用tar -zxvf命令解压。

找到config目录下的elasticsearch.yml文件,修改配置:

cluster.name: es-application
node.name: node-1
#对所有IP开放
network.host: 0.0.0.0
#HTTP端口号
http.port: 9200
#elasticsearch数据文件存放目录
path.data: /usr/elasticsearch-7.9.3/data
#elasticsearch日志文件存放目录
path.logs: /usr/elasticsearch-7.9.3/logs

配置完之后,因为ElasticSearch使用非root用户启动,所以创建一个用户。

创建用户

useradd yehongzhi

设置密码

passwd yehongzhi

赋予用户权限

chown -R yehongzhi:yehongzhi /usr/elasticsearch-7.9.3/

然后切换用户,启动:

切换用户

su yehongzhi

启动 -d表示后台启动

./bin/elasticsearch -d

使用命令netstat -nltp查看端口号:

访问http://192.168.0.109:9200/可以看到如下信息,表示安装成功。

2.2 安装Logstash

首先在官网下载安装压缩包,然后解压,找到/config目录下的logstash-sample.conf文件,修改配置:

input {
file{
path => [‘/usr/local/user/*.log’]
type => ‘user_log’
start_position => “beginning”
}
}

output {
elasticsearch {
hosts => [“http://192.168.0.109:9200”]
index => “user-%{+YYYY.MM.dd}”
}
}

input表示输入源,output表示输出,还可以配置filter过滤,架构如下:

配置完之后,要有数据源,也就是日志文件,准备一个user.jar应用程序,然后后台启动,并且输出到日志文件user.log中,命令如下:

nohup java -jar user.jar >/usr/local/user/user.log &

接着再后台启动Logstash,命令如下:

nohup ./bin/logstash -f /usr/logstash-7.9.3/config/logstash-sample.conf &

启动完之后,使用jps命令,可以看到两个进程在运行:

2.3 安装Kibana

首先还是到官网下载压缩包,然后解压,找到/config目录下的kibana.yml文件,修改配置:

server.port: 5601
server.host: “192.168.0.111”
elasticsearch.hosts: [“http://192.168.0.109:9200”]

和elasticSearch一样,不能使用root用户启动,需要创建一个用户:

创建用户

useradd kibana

设置密码

passwd kibana

赋予用户权限

chown -R kibana:kibana /usr/kibana/

然后使用命令启动:

#切换用户
su kibana
#非后台启动,关闭shell窗口即退出
./bin/kibana
#后台启动
nohup ./bin/kibana &

启动后在浏览器打开http://192.168.0.111:5601,可以看到kibana的web交互界面:

2.4 效果展示

全部启动成功后,整个过程应该是这样,我们看一下:

浏览器打开http://192.168.0.111:5601,到管理界面,点击“Index Management”可以看到,有一个user-2020.10.31的索引。

点击Index Patterns菜单栏,然后创建,命名为user-*。

最后,就可以到Discover栏进行选择,选择user-*的Index Pattern,然后搜索关键字,就找到相关的日志了!

三、改进优化

上面只是用到了核心的三个组件简单搭建的ELK,实际上是有缺陷的。如果Logstash需要添加插件,那就全部服务器的Logstash都要添加插件,扩展性差。所以就有了FileBeat,占用资源少,只负责采集日志,不做其他的事情,这样就轻量级,把Logstash抽出来,做一些滤处理之类的工作。

FileBeat也是官方推荐用的日志采集器,首先下载Linux安装压缩包:

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.9.3-linux-x86_64.tar.gz

下载完成后,解压。然后修改filebeat.yml配置文件:

#输入源
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

如果你觉得这些内容对你有帮助,可以扫码获取!!(备注Java获取)

img

最后总结我的面试经验

2021年的金三银四一眨眼就到了,对于很多人来说是跳槽的好机会,大厂面试远没有我们想的那么困难,摆好心态,做好准备,你也可以的。

另外,面试中遇到不会的问题不妨尝试讲讲自己的思路,因为有些问题不是考察我们的编程能力,而是逻辑思维表达能力;最后平时要进行自我分析与评价,做好职业规划,不断摸索,提高自己的编程能力和抽象思维能力。

BAT面试经验

实战系列:Spring全家桶+Redis等

其他相关的电子书:源码+调优

面试真题:


《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!

面试真题:

[外链图片转存中…(img-H4iOA2YR-1713373978097)]

[外链图片转存中…(img-2pwfjHrx-1713373978098)]
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值