![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数仓
erainm
java ->大数据
展开
-
Hive时间相关计算函数
最近在写sql,经常会使用到hive的这些时间计算函数,记录下来,方便以后大家使用原创 2022-12-01 14:24:34 · 1295 阅读 · 1 评论 -
CDH及软件安装部署
1. Linux配置优化1.1 Swappiness虚拟内存swappiness是Linux的一个内核参数,控制系统在使用swap虚拟内存时,内存使用的相对权重。swappiness参数值可设置范围在0到100之间。 此参数值越低,就会让Linux系统尽量少用swap虚拟内存分区,多用内存;参数值越高就是反过来,使内核更多的去使用swap空间。推荐设置为10。根据服务器硬件配置会有变化。临时生效:sysctl -w vm.swappiness=10永久生效:echo “vm.swappines原创 2020-12-18 13:40:37 · 720 阅读 · 0 评论 -
数仓建模及ETL基本过程笔记(2020.11.26更新)
一、数仓建设步骤及宏观逻辑1.1 范式1.2 常见的数仓建模方法1.3 维度建模的步骤二、事实表技术概念2.1 事实表结构2.2 可加、半可加、不可加事实2.3 常见的事实表三、维度表技术概念3.1 常见的维度键3.2 常见的维度类型四、ETL基本过程4.1 ETL前期的需求整合4.2 将数据插入数仓的3个子系统4.3 数据清洗的5个子系统4.4 发布数据的13个子系统4.5 ETL管理相关的13个子系统4.6 ETL系统设计和开发的十个步骤五、企业数据仓库总线架构原创 2020-11-25 08:28:25 · 1928 阅读 · 0 评论