![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数仓
屋顶看飞机
专注于分布式系统、大数据的研究及应用
展开
-
Apache Airflow数仓持续发布实践
0.数仓持续发布整体流程开发在特性分支完成开发,合并代码到各个环境的分支 feat -> sit/prd在 sit可以不设置权限控制,让开发自行合并,prd环境需要设置权限控制,需要进行code review后才能进行合并。经过代码审核后,审核人员在gitlab上点击merge request 按钮,随即触发gitlab webhook发出http请求,然后通过 airflow-gitlab-webhook 插件触发 代码同步的dag, 在该dag中使用git pull命令拉去代码,即可实原创 2020-10-22 21:55:55 · 1139 阅读 · 8 评论 -
个人博客文章汇总
这篇文章对自己博客文章进行汇总,起一个提纲或者集合的作用。00 读书总结类大数据平台基础架构指南 读书收获《代码大全》读书体会盘点国内大数据书籍流派大数据经典书籍良心推荐01 Spark 3.x 系列02 Apache Airflow 系列03 数仓开发相关数仓开发Intellij IDEA配置数仓代码版本及提交管理规范04 元数据技术CDH6.x对应的Apache Atlas版本选择基于CDH6.x环境的Apache Atlas2...原创 2021-04-11 22:24:10 · 389 阅读 · 1 评论 -
数仓开发Intellij IDEA配置
使用Intellij IDEA作为数仓的开发工具。A. IDEA下载下载连接https://download.jetbrains.com/idea/ideaIU-2019.1.4.exe?_ga=2.158036537.2039258053.1578625833-1480439129.1578380047相关资料在云盘中,可以参考链接:https://pan.baidu.com/...原创 2020-01-19 19:27:12 · 1181 阅读 · 0 评论 -
数仓代码版本及提交管理规范
A. 代码分支结构GitLab使用时,基本遵循gitflow的工作量(目前因为历史原因,是非标准gitflow)目前的分支结构和权限如下: 分支 merge权限 push权限 feat特性分支 Maintainer用户+ Developer用户 Maintainer用户+ Developer用户 dev/...原创 2020-01-19 18:54:50 · 653 阅读 · 0 评论