![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
tianc.曦
贵州师范学院,一位努力学习的奋青。
展开
-
数仓分层及命名规范
一、分层1、ODS层原始数据层,存放原始数据,直接加载原始日志、数据,数据保持原貌,不做任何处理。2、DWD层对ODS层进行清洗,比如处理里面的空值、脏数据、极限值3、DWS层对DWD层进行join 或者聚合、汇总操作4、ADS层为各种统计报表提供数据二、分层优点1、把复杂问题简单化将一个复杂的任务分解成多个步骤来完成,每一层只处理单一的步骤,比较简单、并且方便定位问题。2、减少重复开发规范数据分层,通过的中间层数据,能够减少极大的重复计算,增加一次计算结果的复用性。3、隔离原始原创 2022-04-14 19:11:28 · 3116 阅读 · 0 评论 -
搭建集群时免密登录设置
1、vim /etc/hosts 通过主机名访问主机2、192.168.56.100 master192.168.56.101 slave01192.168.56.102 slave023、再使用scp命令将/etc/hosts复制scp /etc/hosts root@192.168.56.101:/etc/4、验证ping master5、免密登录ssh-keygen -t rsa6、上传公钥到服务器ssh-copy-id -i ~/.ssh/id_rsa.pub roo原创 2022-04-07 17:05:45 · 1183 阅读 · 0 评论