!版权声明:本博客内容均均为原创,每篇博文作为知识积累,写博不易,转载请注明出处。
目录[-]
系统环境:
Jenkins 版本:2.233
Kafka Logs 插件版本:0.1.6
Kafka Server 地址:192.168.2.12:9092、192.168.2.13:9092、192.168.2.14:9092
一、简介
在平时我们使用 Jenkins 执行任务构建时候会产生很多指标性数据,这些数据会输出到 Jenkins 日志中,在 Jenkins 中日志是存储到文件里面的,且数据量多我们收集起存储来不是很方便,很多时候我们只要部分指标关键数据,例如,用于统计任务构建时长的”开始时间”和”结束时间”、”任务执行次数”、”任务执行人”、”任务编号”等等。
收集这些关系指标数据有很多方法,可以使用 logstash 插件将数据输入到 ElasticSearch 中,也可以输出到 Kafka 等应用处理后再存储,这里就是将数据输出到 Kafka 中,方便后续处理这些数据。
二、安装 Kafka Logs 插件
进入 系统管理->插件管理->可选插件 后在搜索栏中输入 kafka logs 来查询插件,然后进行安装:
三、创建 Pipeline 任务
这里我们创建一个 Jenkins Pipeline 任务,方便后续测试该插件,选择 新建任务->输入任务名->选择流水线 操作如下:
Job 名称: kafka-test
Job 类型: 流水线
四、创建 Pipeline 脚本
等任务创建完成后,我们就进入到任务的配置中,这里我们将节目拖到最底部,在里面的 Script 中输入下面脚本,脚本内容是将”当前时间”、”任务名称”、”构建编号”、”构建结果”信息发送到 Kafka:
node {
// kafka 插件中配置连接 kafka 的地址与对应的 Topic
withKafkaLog(kafkaServers: "192.168.2.12:9092,192.168.2.13:9092,192.168.2.14:9092", kafkaTopic: "jenkins-pipeline", metadata:"xxx") {
// 创建时间字符串
String time = new Date().format("yyyy-MM-dd'T'HH:mm:ss.SSSZZ")
// 设置发送到 kafka 的消息
data = """{Time":"${time}","JobName":"${JOB_NAME}","BuildNumber":"${BUILD_NUMBER}","BuildResult":"${currentBuild.currentResult}"}"""
// 发送消息到 Kafka
echo "${data}"
}
}
注意:本人已经在 kafka 配置中添加 auto.create.topics.enable=true 选项,允许自动创建 topic,如果不配置该参数,可能无法自动创建 topic,导致发生消息失败。
五、执行 Pipeline 任务进行测试
我们执行当前 Pipeline 任务,然后观察是否执行状态:
然后观察任务是否能够执行成功。
六、在 Kafka 中查接收到的消息
当 Jenkins 任务执行成功后,我们进入 kafka 目录中,使用其 kafka-console-consumer 工具查看之前 Jnekins 脚本中 kafka 插件指定的 Topic 中的消息:
–topic: 指定 kafka topic。
–bootstrap-server: 指定 kafka 集群地址。
–from-beginning: 使 consumer 从 kafka 最早的消息开始消费。
$ bin/kafka-console-consumer.sh --bootstrap-server 192.168.2.12:9092,192.168.2.13:9092,192.168.2.14:9092 --topic jenkins-pipeline --from-beginning
{"metadata":"","build":1,"job":"kafka-test","message":"{Time\":\"2020-05-05T03:31:24.628+0800\",\"JobName\":\"kafka-test\",\"BuildNumber\":\"1\",\"BuildResult\":\"SUCCESS\"}"}
如果感觉本文章对你有帮助,请给本人 github 点个星吧!^^~
—END—