先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新软件测试全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上软件测试知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip1024b (备注软件测试)
正文
ELK平台搭建
Elk对jdk有版本要求的,建议jdk版本相对高一些
环境准备:
[admin@jhkj66 ~]$ cat /etc/redhat-release
Red Hat Enterprise Linux Server release 7.3 (Maipo)
[admin@jhkj66 ~]$ java -version
java version “1.8.0_60”
Java™ SE Runtime Environment (build 1.8.0_60-b27)
Java HotSpot™ 64-Bit Server VM (build 25.60-b23, mixed mode)
elasticsearch下载地址:
[admin@jhkj66 ~]$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.3.tar.gz
解压:
tar xf elasticsearch-6.2.3.tar.gz
修改/etc/security/limits.conf
* hard nofile 65536
* soft nofile 65536
* soft nproc 2048
* hard nproc 4096
然后使用普通用户启动,root没试过,网上说是起不来的,不过本来就是不该用root去启动,这个不用谁告诉吧,试一下能不能启动
./elasticsearch-6.2.3/bin/elasticsearch
这个命令退出后结束进程了,验证启动没问题后,加上-d参数加到后台
利用curl命令验证:
[admin@jhkj66 elasticsearch-6.2.3]$ curl http://127.0.0.1:9200
{
“name” : “HcildNt”,
“cluster_name” : “elasticsearch”,
“cluster_uuid” : “AwKIijm7QSKHO6c45d4-iA”,
“version” : {
“number” : “6.2.3”,
“build_hash” : “c59ff00”,
“build_date” : “2018-03-13T10:06:29.741383Z”,
“build_snapshot” : false,
“lucene_version” : “7.2.1”,
“minimum_wire_compatibility_version” : “5.6.0”,
“minimum_index_compatibility_version” : “5.0.0”
},
“tagline” : “You Know, for Search”
}
部署filebeat
下载地址:
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.3-linux-x86_64.tar.gz
解压:
[root@jhkj66 tools]# tar xf filebeat-6.2.3-linux-x86_64.tar.gz -C /home/
配置文件说明:
filebeat.prospectors:
- type: log
enabled: true # 开关
paths: # 日志文件路径,可以用用通配符
- /var/log/xxx-info.log #
#- c:\programdata\elasticsearch\logs\* 如果是windows服务器,用这个路径
multiline: # 日志多行处理,列如java的堆栈信息
pattern: ^\d{4} # 匹配前缀为数字开头,如果不是日期,该行日志接到上一行后尾
negate: true
match: after
fields: # 自定义属性,用于Logstash 中
service_name: customer # 产生日志的服务名
log_type: info # 日志文件类型
server_id: ip-address # 服务器ip地址
scan_frequency: 50 #扫描间隔,单位为秒;设置太小会引起filebeat频繁扫描文件,导致cpu占用百分比过高
- type: log
enabled: true
paths:
- /var/log/customer-error.log
multiline:
pattern: ^\d{4}
negate: true
match: after
fields:
service_name: customer
log_type: error
server_id: 127.0.0.1
scan_frequency: 60
output.logstash: # 输出到logstash的安装位置,以及监听的端口
hosts: [“129.1.7.203:5043”]
启动命令:
./filebeat -e -c filebeat.yml
报错:
2018-09-06T18:46:46.350+0800 ERROR log/prospector.go:437 Harvester could not be started on new file: /var/log/yum.log, Err: Error setting up harvester: Harvester setup failed. Unexpected file opening error: Failed opening /var/log/yum.log: open /var/log/yum.log: permission denied
日志的权限别忘记给一下
为什么使用Filebeat 而不是直接使用Logstash 来收集日志?原因有以下几点。
1.Filebeat更加的轻量级,Logstash占用更多的系统资源,如果在每个服务器上部署Logstash,
有时候会影响到业务服务,导致服务响应缓慢;
2.Filebeat能够记录文件状态,文件状态记录在文件中(~FILEBEAT_HOME/data/registry)。
此状态可以记住harvesters 收集文件的偏移量,重启后prospectors 能知道每个日志文件的记录状态
再进行收集文件;
3.Filebeat保证至少有一次输出,因为Filebeat将每个事件的传递状态保存在文件中。在没有得到接收方
确认时,会尝试一直发送,直到得到回应。
Logstash部署:
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.3.tar.gz
tar xf logstash-6.2.3.tar.gz -C /home/
chown -R admin: /home/logstash-6.2.3/
配置文件说明:
input { # 指定输入源-beats- filebeat
beats {
host => “localhost”
port => “5043”
}
}
filter {# 日志格式化,使用grok 插件
if[fields][log_type] == ‘error’{ # 如果是error类型的日志该怎么处理,在filebeat的fields中定义
grok { # 使用grok 插件进行一整条日志信息格式成key-value信息
match => { “message”=> “%{TIMESTAMP_ISO8601:logdate} %{LOGLEVEL:loglevel} %{JAVACLASS:class} %{NUMBER:thread} %{JAVALOGMESSAGE:logmsg}”} # 这里采用的是grok预制的一些正则,":"后面是我们自定义的key
}
date { # 将kibana 的查询时间改成日志的打印时间,方便之后查询,如果不改的话,kibana会有自己的时间,导致查询不方便
match => [“logdate”, “yyyy-MM-dd HH:mm:ss Z”, “ISO8601”]
target => “@timestamp”
}
}
if[fields][log_type] == ‘info’{ # 如果是info类型该怎么格式,这里是重复的,如果有日志格式不一样比如nginx的日志类型,可以在这里自己定义
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注软件测试)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
"
}
}
if[fields][log_type] == ‘info’{ # 如果是info类型该怎么格式,这里是重复的,如果有日志格式不一样比如nginx的日志类型,可以在这里自己定义
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注软件测试)
[外链图片转存中…(img-D6QZP1eP-1713125511936)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!