![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数仓
屋顶看飞机
专注于分布式系统、大数据的研究及应用
展开
-
Apache Airflow数仓持续发布实践
0.数仓持续发布整体流程 开发在特性分支完成开发,合并代码到各个环境的分支 feat -> sit/prd 在 sit可以不设置权限控制,让开发自行合并,prd环境需要设置权限控制,需要进行code review后才能进行合并。 经过代码审核后,审核人员在gitlab上点击merge request 按钮,随即触发gitlab webhook发出http请求,然后通过 airflow-gitlab-webhook 插件触发 代码同步的dag, 在该dag中使用git pull命令拉去代码,即可实原创 2020-10-22 21:55:55 · 1126 阅读 · 8 评论 -
个人博客文章汇总
这篇文章对自己博客文章进行汇总,起一个提纲或者集合的作用。 00 读书总结类 大数据平台基础架构指南 读书收获 《代码大全》读书体会 盘点国内大数据书籍流派 大数据经典书籍良心推荐 01 Spark 3.x 系列 02 Apache Airflow 系列 03 数仓开发相关 数仓开发Intellij IDEA配置 数仓代码版本及提交管理规范 04 元数据技术 CDH6.x对应的Apache Atlas版本选择 基于CDH6.x环境的Apache Atlas2...原创 2021-04-11 22:24:10 · 373 阅读 · 1 评论 -
数仓开发Intellij IDEA配置
使用Intellij IDEA作为数仓的开发工具。 A. IDEA下载 下载连接https://download.jetbrains.com/idea/ideaIU-2019.1.4.exe?_ga=2.158036537.2039258053.1578625833-1480439129.1578380047 相关资料在云盘中,可以参考 链接:https://pan.baidu.com/...原创 2020-01-19 19:27:12 · 1147 阅读 · 0 评论 -
数仓代码版本及提交管理规范
A. 代码分支结构 GitLab使用时,基本遵循gitflow的工作量(目前因为历史原因,是非标准gitflow) 目前的分支结构和权限如下: 分支 merge权限 push权限 feat特性分支 Maintainer用户+ Developer用户 Maintainer用户+ Developer用户 dev/...原创 2020-01-19 18:54:50 · 637 阅读 · 0 评论