oracle8090的博客

背景：数仓中有经纬度数据想要匹配城市编码，但是相关数据在gp数据库并且存储在pg数据库的public.geometry类型字段中，无法直接导入到dataworks直接使用现做数据清洗将数据进行匹配 ，使用 H3和空间网格两种方式实现。

pycharm本地调试airflow

Acquisition，Activation，Retention，Revenue，Refer CAC:Customer acquisition cost 流量不区分 局部 还是整体 理 从数据来源 到数据消费 从埋点开始考虑 思考埋点的事情 ，摸一下埋点整体的流程 埋点管理 埋点生命周期 1.埋点需求 2.设计埋点 3.埋点管理平台配置 4.开发 5.测试埋点是否正确 6.上线埋点 7.监控埋点质量 8.评价埋点的好坏 质量如何保障 事前 事中 事后 事前 归...

ER模型 数据仓库之父Bill Inmon提出的建模方法是从全企业的高度设计一个3NF的模型,用实体关系（Entity Relationship,ER）模型描述 企业业务，在范式理论上 符合3NF。数据仓库中的3NF与OLTP系统中的3NF的区别在于,它是站在企业角度面向主题的抽象，而不是 针对某个业务流程的实体对象关系的抽象。其具体的特点如下： 1.需求全面了解企业业务的数据。 2.实施周期非常长。 3.对建模人员的能力要求非常高。 采用...

基本规范或优化 字段命名规范: 语言: 命名应该使用英文单词，避免使用拼音，最好不要使用拼音简写，如果使用拼音简写应该有规范。命名不允许使用中文或者特殊字符。 英文单词使用用对象本身意义相对或相近的单词。选择最简单或最通用的单词。不能使用毫不相干的单词来命名。 当一个单词不能表达对象含义时，用词组组合，如果组合太长时，采用用简或缩写，缩写要基本能表达原单词的意义。 当出...

数据仓库 数仓架构 基础架构 Kimball、Inmon 数仓是一种规范 数仓是一种思想 解决方案 元数据管理 数据质量 数据安全 生命周期 数据模型、数据字典 血缘关系 DAG 技术元数据、业务元数据 权限 命名规范 开发规范 流程规范 设计规范