ELK搭建及kibana界面汉化，阿里面试官必问

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新软件测试全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注软件测试）

正文

ELK平台搭建

Elk对jdk有版本要求的，建议jdk版本相对高一些

环境准备：

[admin@jhkj66 ~]$ cat /etc/redhat-release

Red Hat Enterprise Linux Server release 7.3 (Maipo)

[admin@jhkj66 ~]$ java -version

java version “1.8.0_60”

Java™ SE Runtime Environment (build 1.8.0_60-b27)

Java HotSpot™ 64-Bit Server VM (build 25.60-b23, mixed mode)

elasticsearch下载地址：

[admin@jhkj66 ~]$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.3.tar.gz

解压：

tar xf elasticsearch-6.2.3.tar.gz

修改/etc/security/limits.conf

* hard nofile 65536

* soft nofile 65536

* soft nproc 2048

* hard nproc 4096

然后使用普通用户启动，root没试过，网上说是起不来的，不过本来就是不该用root去启动，这个不用谁告诉吧，试一下能不能启动

./elasticsearch-6.2.3/bin/elasticsearch

这个命令退出后结束进程了，验证启动没问题后，加上-d参数加到后台

利用curl命令验证：

[admin@jhkj66 elasticsearch-6.2.3]$ curl http://127.0.0.1:9200

{

“name” : “HcildNt”,

“cluster_name” : “elasticsearch”,

“cluster_uuid” : “AwKIijm7QSKHO6c45d4-iA”,

“version” : {

“number” : “6.2.3”,

“build_hash” : “c59ff00”,

“build_date” : “2018-03-13T10:06:29.741383Z”,

“build_snapshot” : false,

“lucene_version” : “7.2.1”,

“minimum_wire_compatibility_version” : “5.6.0”,

“minimum_index_compatibility_version” : “5.0.0”

},

“tagline” : “You Know, for Search”

}

部署filebeat

下载地址：

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.3-linux-x86_64.tar.gz

解压：

[root@jhkj66 tools]# tar xf filebeat-6.2.3-linux-x86_64.tar.gz -C /home/

配置文件说明：

filebeat.prospectors:

• type: log

enabled: true # 开关

paths: # 日志文件路径，可以用用通配符

• /var/log/xxx-info.log #

#- c:\programdata\elasticsearch\logs\* 如果是windows服务器，用这个路径

multiline: # 日志多行处理，列如java的堆栈信息

pattern: ^\d{4} # 匹配前缀为数字开头，如果不是日期，该行日志接到上一行后尾

negate: true

match: after

fields: # 自定义属性，用于Logstash 中

service_name: customer # 产生日志的服务名

log_type: info # 日志文件类型

server_id: ip-address # 服务器ip地址

scan_frequency: 50 #扫描间隔，单位为秒；设置太小会引起filebeat频繁扫描文件，导致cpu占用百分比过高

• type: log

enabled: true

paths:

• /var/log/customer-error.log

multiline:

pattern: ^\d{4}

negate: true

match: after

fields:

service_name: customer

log_type: error

server_id: 127.0.0.1

scan_frequency: 60

output.logstash: # 输出到logstash的安装位置，以及监听的端口

hosts: [“129.1.7.203:5043”]

启动命令：

./filebeat -e -c filebeat.yml

报错：

2018-09-06T18:46:46.350+0800    ERROR  log/prospector.go:437   Harvester could not be started on new file: /var/log/yum.log, Err: Error setting up harvester: Harvester setup failed. Unexpected file opening error: Failed opening /var/log/yum.log: open /var/log/yum.log: permission denied

日志的权限别忘记给一下

为什么使用Filebeat 而不是直接使用Logstash 来收集日志？原因有以下几点。

1.Filebeat更加的轻量级，Logstash占用更多的系统资源，如果在每个服务器上部署Logstash，

有时候会影响到业务服务，导致服务响应缓慢；

2.Filebeat能够记录文件状态，文件状态记录在文件中（~FILEBEAT_HOME/data/registry）。

此状态可以记住harvesters 收集文件的偏移量，重启后prospectors 能知道每个日志文件的记录状态

再进行收集文件；

3.Filebeat保证至少有一次输出，因为Filebeat将每个事件的传递状态保存在文件中。在没有得到接收方

确认时，会尝试一直发送，直到得到回应。

Logstash部署：

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.3.tar.gz

tar xf logstash-6.2.3.tar.gz -C /home/

chown -R admin: /home/logstash-6.2.3/

配置文件说明：

input { # 指定输入源-beats- filebeat

beats {

host => “localhost”

port => “5043”

}

}

filter {# 日志格式化，使用grok 插件

if[fields][log_type] == ‘error’{ # 如果是error类型的日志该怎么处理,在filebeat的fields中定义

grok { # 使用grok 插件进行一整条日志信息格式成key-value信息

match => { “message”=> “%{TIMESTAMP_ISO8601:logdate} %{LOGLEVEL:loglevel} %{JAVACLASS:class} %{NUMBER:thread} %{JAVALOGMESSAGE:logmsg}”} # 这里采用的是grok预制的一些正则，":"后面是我们自定义的key

}

date { # 将kibana 的查询时间改成日志的打印时间，方便之后查询，如果不改的话，kibana会有自己的时间，导致查询不方便

match => [“logdate”, “yyyy-MM-dd HH:mm:ss Z”, “ISO8601”]

target => “@timestamp”

}

}

if[fields][log_type] == ‘info’{ # 如果是info类型该怎么格式，这里是重复的，如果有日志格式不一样比如nginx的日志类型，可以在这里自己定义

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
"

}

}

if[fields][log_type] == ‘info’{ # 如果是info类型该怎么格式，这里是重复的，如果有日志格式不一样比如nginx的日志类型，可以在这里自己定义

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）
[外链图片转存中…(img-D6QZP1eP-1713125511936)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！