golang 怎么获取上传软件的bundle id?_OPA进阶-分布式利器Bundle

最新推荐文章于 2023-11-10 22:48:46 发布

李_涛

最新推荐文章于 2023-11-10 22:48:46 发布

阅读量159

点赞数

文章标签： golang 怎么获取上传软件的bundle id?

本文链接：https://blog.csdn.net/weixin_26642481/article/details/113075223

版权

Bundle是OPA管理policy和data的一种方式。

OPA实现的轻量级策略引擎，一开始就是为了云原生环境的service提供解耦的策略服务，分布式是必然要考虑的问题。

在Bundle api的设计中，其实就全面考虑并体现了在分布式应用中如何更好的解耦策略引擎的管理。

比如：

如何做集中配置管理
如何动态更新策略
如何监控策略引擎节点的状态以及决策日志收集

有了这些功能，再加上其高效的策略描述语言Rego，OPA才真正称得上是云原生时代的通用策略引擎。

本文将带大家简单梳理一遍Bundle的组织方式、管理api、及监控方式。

考虑到一次性过完不易消化，文末会提供一个直接可实操的docker-compose版本的demo，将全面覆盖本文细节

建议大家看完本文，本机运行去体验一下，会有更直观的理解。

Bundle 文件组织方式

下面我们先来看下Bundle的文件组织方式

在Bundle下的data,只能被识别data.json和data.yaml的文件, 而其上边的目录会作为其数据前缀

如下边roles/data.json (bundle/example作为一个bundle)，会将data.json的数据挂在data.roles节点下

cd bundle/example
tree -a
.
├── .manifest
├── bindings
│   └── data.json
├── main.rego
├── rbac.rego
└── roles
    └── data.json

其中.manifest文件是Bundle的一个可选的元数据（metadata）配置文件

cat .manifest
{
  "revision" : "9f160bcd446bf50b1b17b570c322198a68d8e106",
  "roots": ["roles", "bindings","rbac","system"]
}

它的作用是声明Bundle的版本revision及其下的路径前缀（roots: path prefix）

roots不仅规定了Bundle应该有的路径前缀；在用Bundle api（后边会提到）更新文件时，也会按其规定的路径前缀来更新文件

然后bundle也支持tarball格式加载到server

例如opa run -b的方式指定Bundle

cd bundle/example
tar -czf bundle.tar.gz .
opa run -b bundle.tar.gz

Tips: 关于如何在交互式命令行里传递 input。之前非bundle使用 opa run quick-start repl.input:quick-start/input.json 到bundle格式时，就需要构建 repl/input/data.json 文件格式作为输入

具体可以用时参考文档bundle-file-format

opa server api

在了解Bundle支持的管理api前，我们先看下opa server api

主要api如下：

下面我们以文档查询（Data）api为例尝试下：

我们先用之前quick-start的代码起一个opa sever

opa run --server quick-start

(注意：opa server api的路径前缀为/v1/, 对应的，查询api路径前缀为/v1/data/,)

# 构造input输出请求
cat <<EOF > v1-data-input.json
{
    "input": $(cat quick-start/input.json)
}
EOF
# 查询 example_rbac
curl -s  http://0.0.0.0:8181/v1/data/example_rbac?pretty=true -d @v1-data-input.json

{
  "result": {
    "allow": true,
    "role_has_permission": [
      "widget-reader"
    ],
    "user_has_role": [
      "widget-reader"
    ]
  }
}

Tips：不指定路径时，默认路径为 data.system.main，这时输入不需要包裹在 input key内。也可以使用 --set 和 --set-file 可以覆盖配置文件中的配置 opa run --server --set=default_decision=example_rbac/allow/ quick-start curl -s http://0.0.0.0:8181/ -d @quick-start/input.json

而且Data查询也支持组合参数如explain,metrics,provenance等，详细查看文档，这里就不展开了。

Bundle 管理api

Bundle为了在分布式系统中更好的展现OPA的威力，提供了四种Api：

Bundles 用于策略分发，可以定时轮训更新Bundle包
Decision Logs 定期上传日志包，支持按大小分片，开启后会有日志id，决策日志可追溯
Status 定期上传服务状态，包含metrics等信息
Discovery 服务发现，可以用于集中管理OPA的Bundle配置，各个节点下载定期同步配置后，按配置去更新Bundle

如下图：

这里举个带注释Bundle的四种接口配置例子

（先扫一遍留个印象，具体使用时查看文档，后边会提供可实操的代码）

# opa/config-bundle.yaml
services:
  # 定义服务，支持多个
  - name: example_bundle
    url: http://demo-server:8888/

labels:
  app: myapp

bundles:
  # 定义bundle, 支持多个
  authz:
    # bundle所处的服务
    service: example_bundle
    # 这里指从resource处更新bundle文件包，即：
    # http://demo-server:8888/bundle/rbac.tar.gz
    resource: bundle/rbac.tar.gz
    polling:
      # 300~600s间更新一次
      min_delay_seconds: 300
      max_delay_seconds: 600

decision_logs:
  service: example_bundle
  # partition_name为区分上传地址,会跟到 /logs 后, 即：
  # http://demo-server:8888/logs/bundle
  # 注意上传的是gzip日志文件
  partition_name: bundle
  reporting:
    min_delay_seconds: 30
    max_delay_seconds: 60

status:
  service: example_bundle
  # 即 http://demo-server:8888/status/bundle
  partition_name: bundle

# 默认查询路径
default_decision: rbac/allow

Bundle 集成方式

这里我们简单过下集成方式

opa server 方式

运行方式很简单如下：

opa run -s -a 0.0.0.0:8181 -c opa/config-bundle.yaml

运行后，opa server会根据配置自动拉取Bundle包：rbac.tar.gz

下载成功后启动策略服务。同时定期上传决策日志和状态给服务端（即：demo-server:8888）

go lib 方式

使用lib github.com/open-policy-agent/opa/rego集成

关键代码举例如下：

// 构建查询，PrepareForEval可重用
var err error
query, err := rego.New(
    rego.LoadBundle("./rbac.tar.gz"),
    rego.Query("x = data.rbac.allow"),
).PrepareForEval(context.Background())

// 执行查询
results, err := query.Eval(context.Background(), rego.EvalInput(input))
if err != nil {
    fmt.Fatalln("Opa eval error:", err)
    return
} else if len(results) == 0 {
    fmt.Fatalln("Opa eval error: no result")
    return
}

fmt.Println("Opa result:", results[0].Expressions[0].Value)

具体组织方式官方推荐的有下边集中式和分布式这两种：