webhook【钩子】零开发基础--实现服务器运行shell命令 、自动部署

已于 2023-02-08 14:47:08 修改
阅读量3.3k 收藏 4
点赞数
分类专栏： CI/CD 文章标签： ci/cd git go
于 2022-04-21 15:33:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_56676115/article/details/124301334
版权

webhook 也是一种 api，你需要设计api 然后发起对应的http请求来实现对应的功能需求，本文是基于https://github.com/adnanh/webhook （以下简称wehook）一个用 Go 编写的轻量级应用、你可以轻松的使用它来 运行shell命令 、实现版本发布等一切需求。

大概执行过程

  1. 接收请求；
  2. 解析headers, payload and query variables；
  3. 检查是否满足指定规则,
  4. 最后将参数或环境变量传递给配置的shell.

Webhook安全性

webhook 在安全也可以配置很多策略，经过测试可以配置但不仅如下限于策略

# https://github.com/adnanh/webhook/blob/master/docs/Hook-Rules.md#match-value
1. 请求方式限制
2. ip限制
3. 请求Header （Token、CORS Headers）
4. https认证
6. 检查指定的请求参数

环境和服务安装

使用的是 webhook 2.8.0 、go1.16.5 和CentOS Linux release 7.4.1708 。

GO安装
1. rm -rf /usr/local/go && tar -C /usr/local -xzf go1.16.5.linux-amd64.tar.gz
2. export PATH=$PATH:/usr/local/go/bin
3. go version 
4. vim /etc/export   #可以添加至`/etc/export`
5.     export PATH=$PATH:/usr/local/go/bin
6. source  /etc/export
编译webhook 2.8.0

部署到服务器时，只需要编译出来的webhook 可执行文件即可。

1. unzip webhook-master.zip
2. cd webhook-master
3. go build .
4. ldd webhook #检查
服务器部署

部署的结构如下，都可以自定义，启动命令指定与配置保持一致即可。目录结构如下：

└── webhook
    ├── hooks.yaml
    ├── logs
    │   └── webhook.log
    ├── scripts              #api具体调用脚本目录
    │   └── redeploy-go-webhook.sh   
    ├── webhook_install.sh  #实现webhook start 和reload
    ├── webhook.service     #添加至开机启动
    ├── webhook             #可执行
    └── webhook.pid

----
cd webhook
1. 执行文件 chmod +x webhook
2. 配置文件 hooks.yaml
3. 使用脚本目录 chmod +x scripts/*
4. 日志目录 mkdir logs

配置文件hooks.yaml

配置文件可以是 JSON or YAML 格式，可以参照详细的 参数定义，还提供了一些常用的例子和测试用例，如对接gitlab、github等 。

下面是一个简单的测试配置

- id: webhook-install    #任务id
  execute-command: "/etc/webhook/scripts/webhook_install.sh" #shell命令或shell脚本
  command-working-directory: /   #执行目录
  response-message: success   #成功返回值
  include-command-output-in-response: true  #返回werbook返回值
  trigger-rule-mismatch-http-response-code: 400   #不满足trigger-rule 规则返回码
  http-methods:    #允许的 HTTP 方法列表
  - "GET "
  - "Post "
  pass-arguments-to-command:  #请求参数
  - source: url
    name: action
 trigger-rule:
    and:
    - match:
        parameter:
          source: header
          name: webhook-token
        type: value
        value: XXXXXXXXXXXXX   #验证token
    - match:
        type: ip-whitelist      #访问限制
        ip-range: 10.0.0.0/8    #只允许10.0.0.0/8访问
接收参数的四种方式

  1. pass-arguments-to-command 常用的一种方式，可以是 header、url parameters、 Request parameters 、Payload (JSON or form-value encoded)、XML Payload、还有服务端自定义string 简单的字符串-e 123123”

  2. pass-file-to-command 文件内容传递给execute-command

  3. pass-environment-to-command 环境变量传递给execute-command

  4. parse-parameters-as-json payload=<JSON_STRING>解析字符串传递给execute-command

请求规则限制

Hook-Rules支持and 、or、not 组合逻辑匹配、支持正则方式，hash，可以对请求的验证（如token/parameters）,还支持ip-whitelist

服务启动

具体启动参数可以参照 官方配置。

#可以使用绝对路径启动，ip、debug、ssl都是可选的
./webhook \
    -hooks hooks.yaml  \  #指定配置文件
    -port 5432\                      #指定端口
    -ip  "127.0.0.1" \
    -debug \
    -key ssl/server.key.pem \ #指定私钥
    -cert ssl/server.crt.pem \ #指定公钥
    -urlprefix redeploy \       #指定rul前缀
    -secure \                        #使用HTTPS 
    -logfile logs/webhook.log \   #指定日志文件
    -pidfile webhook.pid  #指定pid文件

#简单的启动方式
./webhook -hooks hooks.yaml  -verbose
服务reload
[ -e /var/run/webhook.pid ] && kill -USR1 `cat /var/run/webhook.pid`
也可以使用：
  kill -USR1 webhookpid
  kill -HUP webhookpid

怎么调用

服务启动开启了5432端口，使用http访问。

curl -v -X POST -k -E ./ssl/server.crt.pem --key ./ssl/server.key.pem \
  'https://127.0.0.1:5432/redeploy/webhook-install?action=install' \
  -H 'webhook-token: XXXXXXXXXXXXX' \

# https://127.0.0.1:5432/redeploy/ 为固定路径
# webhook-install id名称
# action=install 传递给后端脚本参数

常见错误

- Error occurred while executing the hook's command. Please check your logs for more details.
    脚本执行错误返回400错误。
- Hook rules were not satisfied 。
    规则不匹配，一般是webhook-token不对，或者是ip不在白名单里面
- Hook not found。
    ID 不存在返回 404，

例：实现Gitlab Webhook 自动发布

1. Gitlab-webhooks配置

官方文档webhooks.md，并授权服务器可以clone权限

web位置：项目 > Settings > Webhook Settings

> URL:https://webhook地址/gitlab/redeploy 
> Secret token:3a9bdeaa2bcd9  #token 验证
> Trigger：勾选Push events   #触发事件
> Push events：master       #只在master分支
2. 配置文件hooks.yaml
- id: redeploy
  execute-command: "/webhook-path/scripts/redeploy-go-webhook.sh"
  command-working-directory: /webhook-path/
  response-message: Executing redeploy script
  include-command-output-in-response: true
  trigger-rule-mismatch-http-response-code: 400
  http-methods:
  - "Post "
  pass-arguments-to-command:
  - source: string
    name: -N
  - source: payload
    name: project.namespace
  - source: string
    name: -P
  - source: payload
    name: project.path_with_namespace
  - source: string
    name: -G
  - source: payload
    name: project.git_ssh_url
  trigger-rule:
    and:
    - match:
        type: value
        value: 3a9bdeaa2bcd9
        parameter:
          source: header
          name: X-Gitlab-Token
3. redeploy-go-webhook.sh
#!/bin/bash

set -e -u
set -o pipefail

declare -r LOCAL_GIT_DIR='/export/gitlab_data' #Git文件存放地址

function git_clone() {
    mkdir -p ${git_file_dir}
    cd ${git_file_dir}
    /usr/bin/env git clone -q ${SPACE_URL} . ||  rm -rf ${git_file_dir}
}

function git_pull() {
    cd ${git_file_dir}
    /usr/bin/env git checkout -q master 
    /usr/bin/env git fetch -p -q --all   
    /usr/bin/env git reset -q --hard origin/master 
}

function main() {

    while getopts ":N:P:G:" opt; do
        case "${opt}" in
            N)    SPACE_NAME=${OPTARG};         ;;
            P)    SPACE_PATH=${OPTARG};         ;;
            G)    SPACE_URL=${OPTARG};          ;;
            h|*)  echo "use -N, -P, -G, option, not null";                        ;;
        esac
    done
    shift "$((OPTIND-1))"

    git_use_dir=${LOCAL_GIT_DIR}/${SPACE_NAME}
    git_file_dir=${LOCAL_GIT_DIR}/${SPACE_PATH}

    mkdir -p ${git_use_dir}

    if [ ! -d "${git_file_dir}" ]; then
        git_clone
        git_pull
    else
        git_pull
    fi
}

main "${@:-""}"
echo  "${*:-""} success"
4. 启动
nohup ./webhook \
        -hooks hooks.yaml  \
        -port 80  \
        -ip  "0.0.0.0" \
        -urlprefix gitlab \
        -logfile logs/webhook.log \
        -pidfile webhook.pid >/dev/null 2>&1 &
5. gitlab master 提交测试

When GitLab sends a webhook, it expects a response in 10 seconds by default.
If the endpoint doesn’t send an HTTP response in those 10 seconds,
GitLab may assume the webhook failed and retry it.

勤不了一点
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
webhook是轻量级传入的webhook服务器，用于运行shell命令-Golang开发
05-26
什么是webhook？ webhook是用Go语言编写的轻量级可配置工具，可让您轻松地在服务器上创建HTTP端点（挂钩），可用于执行已配置的命令。 您也可以从什么传递数据。webhook是什么？ webhook是用Go语言编写的轻量级可配置工具，可让您轻松地在服务器上创建HTTP端点（挂钩），可用于执行已配置的命令。 您还可以将数据从HTTP请求（例如标头，有效负载或查询变量）传递到命令。 webhook还允许您指定必须满足的规则才能触发该挂钩。 例如，如果您使用的是Github或Bitbucket，则可以使用webhook设置钩子
webhook：webhook是运行shell命令的轻量级传入webhook服务器
02-04
什么是网络挂钩？ 是用Go语言编写的轻量级可配置工具，可让您轻松地在服务器上创建HTTP端点（挂钩），可用于执行已配置的命令。 您还可以将数据从HTTP请求（例如标头，有效负载或查询变量）传递到命令。 还允许您指定必须满足的规则才能触发该挂钩。 例如，如果您使用的是Github或Bitbucket，则每当您将更改推送到项目的主分支时，都可以使用设置一个挂钩，该挂钩在登台服务器上为您的项目运行重新部署脚本。 如果您使用Mattermost或Slack，则可以设置“传出Webhook集成”或“斜线命令”以在服务器上运行各种命令，然后可以使用“传入Webhook集成”直接向您或您的渠道报告，或
GitHub WebHook 使用教程
最新发布
未读代码
03-27 1186
介绍 GitHub WebHook 的使用方式，GitHub 允许我们配置 WebHook ，它允许我们配置某个仓库发生某个事件时，通知指定的外部服务。
mirai-http-webhook:通过 mirai-api-http 来实现 webhook 功能
07-24
mirai-http-webhook 通过 mirai-api-http 来实现 webhook 功能 注意: 本项目仍在开发中，若遇到问题请提交至 issues 使用方式 克隆本项目 git clone https://github.com/Talaxy009/mirai-http-webhook.git 移动到本地仓库 cd ./mirai-http-webhook 安装依赖 npm install 或 yarn 复制一份 config.default.json 修改名字为 config.json 后对其进行编辑，设置文件相关说明在此 → 请注意，由于所使用的 限制需要使用 版本的 mirai-api-http 启动 npm start 接口调用说明 请求方式: GET 请求示例: http://host:port?token=abcd&text=测试&image=https://
GO 使用Webhook 实现github 自动化部署的方法
09-16
主要介绍了GO 使用Webhook 实现github 自动化部署的方法，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
prometheus-webhook-dingtalk-1.4.0告警插件一键部署
12-30
原文链接：https://blog.csdn.net/m0_37814112/article/details/122170537
webhook技术介绍
zhangzhechun的专栏
03-06 1891
最后，我们返回一个’ok’字符串，表示请求已经成功处理。在这个示例代码中，我们首先创建了一个Express应用程序，并定义了一个’/webhook’路由，用于接收来自源应用程序的HTTP请求。Webhook与传统的API不同，传统的API需要应用程序主动向服务器发起请求以获取数据，而Webhook则是源应用程序自动向目标应用程序发送请求，从而减少了应用程序的负担和网络流量。在这个示例代码中，我们首先创建了一个Flask应用程序，并定义了一个’webhook’路由，用于接收来自源应用程序的HTTP请求。
docker + webhook 从零实现前端自动化部署
油墨香^-^的博客
09-08 1659
着手开发前，先介绍这次的主角docker简而言之，docker 可以灵活的创建/销毁/管理多个“服务器”，这些“服务器”被称为容器 (container)在容器中你可以做任何服务器可以做的事，例如在有 node 环境的容器中运行打包项目，在有 nginx 环境的容器中部署项目，在有 mysql 环境的容器中做数据存储等等一旦服务器安装了 docker ，就可以自由创建任意多的容器，上图中 docker 的 logo 形象的展示了它们之间的关系，🐳就是 docker，上面的一个个集装箱就是容器。
Go-钉钉机器人使用webhook发送消息
sunriseYJP的博客
05-12 661
钉钉机器人使用webhook发送消息。
kubernetes中开发自定义webhook
记录成长，分享收获。
06-24 972
这篇文章将带着我们从头开始部署自己的webhook。本文适合对kubernetes和webhook有一定认知和了解的读者，帮助读者快速部署自己的webhook，话不多说直接开始。
GO语言实现Github webhook接收处理服务
m0_72843152的博客
09-22 701
使用go语言实现对github webhook的接收处理。
go实现git webhook持续构建服务自动发布程序
筱光的博客
09-06 484
1.背景 原本持续构建一直使用Jenkins，近期服务器资源吃紧，停掉了很多服务，团队代码发布比较繁琐，随手写了这段程序进行自动发布。 编程语言选择go，因为体积小，开发快，服务占用资源少，最主要的是可以编译成二进制文件，运行比较方便。 2.依赖 除了yml配置解析库是第三方库，其他都是go原生库的API。 解析yml引用gopkg.in/yaml.v2，引用方式，命令行执行： go get gopkg.in/yaml.v2 3.配置文件 配置文件配置要执行的脚本，url最后一段解析为key，value存
Golang 部署webhook，执行指定脚本
lswzw的博客
06-23 2955
Golang 部署webhook，远程触发执行指定脚本。 下载 GITHUB地址：https://github.com/adnanh/webhook https://github.com/adnanh/webhook/releases 直接下载最新的对应版本即可。 webhook配置 vim webhook.json 使用时须要把备注删掉 [ { "id": "lswzw-test", // 这里填写 http://server/hooks/{ID} 对应的是{ID} 值。也是唯一值。
webhook自定义服务器,GO 使用Webhook 实现github 自动化部署
weixin_30296363的博客
07-29 773
1. 下载github-webhook工具:wget http://img.sgfoot.com/github-webhook1.4.1.linux-amd64.tar.gz2. 运行github-webhook 安装tar -zxvf github-webhook1.4.1.linux-amd64.tar.gzcp github-webhook /usr/bin/chmod u+x /usr/b...
webhook使用
qq_43369327的博客
01-02 392
wehook也是在实际的工作中使用较多的一个组件或者说组件， 经常体现在代码仓的实际应用中，例如提交一次代码，webhook触发， 对新提交的代码进行流水线检查处理等。这是一个异步网络模型， 当用户进行指定动作后，触发webhook中设定的http请求， 装载封装好网络请求对下游进行http请求。Webhooks是"user-defined HTTP回调"。它们通常由一些事件触发，可以通过回调函数来类比这个概念。可通过配置webhook来进行自动化检查。这里是实际上使用的例子。
k8s Webhook 使用java springboot实现webhook 学习总结
liuyij3430448的博客
07-27 3022
kubernetes利用webhook可以实现类似Java Web Filter的功能，拦截对资源的操作请求。 将操作**增强**或者**拦截验证** 创建一个Pod,可以对这个操作添加额外的配置，比如添加标签，添加容器，添加挂载等，或者验证Pod操作是不是满足某些要求，不满足则不执行等
使用gorequest对webhook（企业微信提供）发送请求
MrTreebook的博客
05-18 632
【代码】使用gorequest对webhook（企业微信提供）发送请求。
通过宝塔webhook实现git代码自动服务器部署
weixin_55261016的博客
07-15 1960
日志（可省略）/www/wwwlogs/auto-git-pull.log（读写权限）以上为全部过程，请将shell脚本中的项目目录替换为自己的目录。脚本代码opt/shell/auto-git-pull.sh。脚本/opt/shell/auto-git-pull.sh。登录码云并找到项目管理下的仓库挂件webhook。从宝塔软件商店下载并安装webhook插件。找到宝塔中webhook插件的密钥。第三步配置码云webhook。第一步配置webhook。添加webHook。.........
低成本实现webhook接收端[python]
锡城小凯的博客
09-12 6465
Webook本质上也是API，只不过是反向调用，即前端不主动发送请求，完全由后端推送。简单来说，Webhook是一个接受HTTP POST或是GET,PUT,DELETE的URL，一个实现了Webhook的API提供商就是在当事件发生的时候会向配置的URL发送信息，与请求-响应式不同，使用Webhook可以实时接收到变化。Ps:Webhook可能会发出大量的请求，确保接受的URL不被泄露或者应用能及时处理这些请求。
webhook查询X-Gitlab-Token
07-22
在 GitLab 中，X-Gitlab-Token 是用于验证 Webhook 请求的 HTTP 标头之一。当你创建一个 Webhook 并配置了一个密钥（即 Token）时，GitLab 会在每次发送 Webhook 请求时在 X-Gitlab-Token 标头中包含该密钥。 在接收到 Webhook 请求时，你可以从请求的标头中提取 X-Gitlab-Token 的值，并与你在 GitLab 中配置的密钥进行比较，以验证请求的合法性。通过这种方式，你可以确保只有来自 GitLab 的有效请求才会被接受和处理。 以下是一个示例，展示了如何从 Webhook 请求中获取 X-Gitlab-Token 的值（假设你正在使用 Python 和 Flask）： ```python from flask import Flask, request app = Flask(__name__) @app.route('/webhook', methods=['POST']) def webhook(): gitlab_token = request.headers.get('X-Gitlab-Token') # 在这里进行 X-Gitlab-Token 的验证和其他处理逻辑 return 'Webhook received and processed' if __name__ == '__main__': app.run() ``` 在上面的示例中，`request.headers.get('X-Gitlab-Token')` 用于获取请求标头中的 X-Gitlab-Token 值。你可以根据需要进行验证和处理。请注意，确保将你在 GitLab 中配置的密钥与接收到的 X-Gitlab-Token 进行比较，以确保请求的合法性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值