数仓
erainm
java ->大数据
展开
-
Hive时间相关计算函数
最近在写sql,经常会使用到hive的这些时间计算函数,记录下来,方便以后大家使用原创 2022-12-01 14:24:34 · 1406 阅读 · 1 评论 -
CDH及软件安装部署
1. Linux配置优化 1.1 Swappiness虚拟内存 swappiness是Linux的一个内核参数,控制系统在使用swap虚拟内存时,内存使用的相对权重。 swappiness参数值可设置范围在0到100之间。 此参数值越低,就会让Linux系统尽量少用swap虚拟内存分区,多用内存;参数值越高就是反过来,使内核更多的去使用swap空间。推荐设置为10。根据服务器硬件配置会有变化。 临时生效: sysctl -w vm.swappiness=10 永久生效: echo “vm.swappines原创 2020-12-18 13:40:37 · 794 阅读 · 0 评论 -
数仓建模及ETL基本过程笔记(2020.11.26更新)
一、数仓建设步骤及宏观逻辑 1.1 范式 1.2 常见的数仓建模方法 1.3 维度建模的步骤 二、事实表技术概念 2.1 事实表结构 2.2 可加、半可加、不可加事实 2.3 常见的事实表 三、维度表技术概念 3.1 常见的维度键 3.2 常见的维度类型 四、ETL基本过程 4.1 ETL前期的需求整合 4.2 将数据插入数仓的3个子系统 4.3 数据清洗的5个子系统 4.4 发布数据的13个子系统 4.5 ETL管理相关的13个子系统 4.6 ETL系统设计和开发的十个步骤 五、企业数据仓库总线架构原创 2020-11-25 08:28:25 · 2031 阅读 · 0 评论
分享