数仓
文章平均质量分 96
数仓
爱吃薄荷糖的喵喵
这个作者很懒,什么都没留下…
展开
-
# 在线教育项目——数仓实战(三)之访问咨询主题看板(全量流程)
访问咨询主题看板的全量流程,涉及需求分析、业务数据准备、建模分析、建模操作、Hive的基础优化、数据采集、数据清洗转换、数据分析、利用sqoop进行数据导出原创 2023-03-14 10:50:56 · 584 阅读 · 2 评论 -
在线教育项目——数仓实战(二)
如果数据来源于文本文件, 可能会需要先对这些文本文件进行预处理(spark)操作, 将其中不规则的数据, 不完整的数据, 脏乱差的数据先过滤掉, 将其转换为一份结构化的数据, 然后灌入到ODS层。Oozie来源于apache, 出现时间较早一款工作流调度工具原创 2023-01-11 20:13:38 · 796 阅读 · 0 评论 -
在线教育项目——数仓实战(一)
基于cloudera manager大数据统一管理平台, 在此平台之上构建大数据相关的软件(zookeeper,HDFS,YARN,HIVE,OOZIE,SQOOP,HUE…), 除此以外, 还使用FineBI实现数据报表展示原创 2023-01-09 19:34:23 · 1298 阅读 · 0 评论