介绍edataflow 前先介绍下大家熟悉的mySync 的客户库使用场景(客户库业务梳理)
ed 的作用就是 替换过程2 中 mySync 的功能
先说下ed 在项目中的整个使用脉络
通过七彩石新建的配置服务A将 编写好的 ed json 配置文件加载进去,然后在ed proj项目中提交一个新项目服务B,最后使用流水线把项目服务B部署运行起来,并把配置服务A加载进去,最终实现ed json 中数据操作逻辑
下面正式开始
小白上手文档 — 入门文档,具体介绍了ed 实现数据操作的各个模块
其实整体分为四步
《1》编写ed json 配置文件 — 数据操作的具体逻辑实现
《2》新建七彩石 配置服务 — 将第一步的json 文件放进去
《3》在ed proj项目中新建服务 — 具体运行的项目代码
《4》使用流水线部署 — 部署第三部中的项目代码
学习视频 :https://meeting.tencent.com/user-center/shared-record-info?id=d10910a3-88f8-4292-86a6-829f41d261e0&from=6&click_source_for_middle_login=1
在第一步的时候会用到 语法,函数 等ed 语言的使用问题 可参考 — edataflow使用手册
另外有一个可以检查 ed json 配置文件有效性(语法)的工具,不知道咋上传文件,可联系我获取
./cfg_verify_tool -f xxx #注释 xxx就是配置文件路径 找台机器运行该命令
cfg parse ok # 配置文件没问题 运行后提示
额外的学习文档
《1》edataflow配置api编排组件设计文档 — https://km.woa.com/articles/show/436227?kmref=search&from_page=1&no=1
七彩石配置:(记得配置完要发布)
http://rainbow.oa.com/console/8fe17a30-8c41-4022-b09a-301494cf7c07/oa/list?group_id=628159&group_name=oa.edataflow_for_workorder_es_svr
工单es:
测试环境:
servers: **********
因为ed目前只支持北极星的别名路由申请北极星:**********
username: ******
password: **********!ES
索引是workorders_ +主号后两位
kibana地址:http://es-ksm4vdvb.internal.kibana.tencentelasticsearch.com/login?next=%2Fapp%2Fkibana#/home?_g=()
kibana~username: *********
kibana~password: ***********
kibana~es语句:
GET /workorders_26/doc/_search?routing=2852199126{
{“query”:{“bool”:{“must”:[{“term”:{“tenantId”:2852199126}},{“term”:{“customerId”:“28521991260000000000000000046679”}}]}}}
POST workorders_26/doc/111022773975089190/_update?routing=2852199126
{“doc”:{“title”:“123009999”}}
POST workorders_26/doc/_update_by_query
{“script”:{“source”:“ctx._source[‘customerName’] = ‘hmfeng007’”},“query”:{“term”:{“customerId”:“28521991260000000000000000046679”}}}
POST workorders_26/doc/_update_by_query
{“script”:{“source”:“ctx._source[‘customerName’] = params.custName”,“params”:{“custName”:“mmmwwwmmm”}},“query”:{“bool”:{“filter”:[{“term”:{“tenantId”:2852199126}},{“term”:{“customerId”:“28521991260000000000000000046679”}}]}}}
客户库kafka地址: