大数据项目
文章平均质量分 96
在学习的王哈哈
这个作者很懒,什么都没留下…
展开
-
尚硅谷大数据项目之Flink实时数仓-踩坑记录和笔记记录
尚硅谷大数据项目之Flink实时数仓-踩坑记录和笔记记录原创 2022-08-11 14:41:03 · 2489 阅读 · 0 评论 -
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据可视化接口实现
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据可视化接口实现转载 2022-08-03 17:00:45 · 1581 阅读 · 1 评论 -
【学习笔记】大数据技术之ClickHouse
【学习笔记】大数据技术之ClickHouse转载 2022-07-26 20:39:32 · 919 阅读 · 0 评论 -
【学习笔记】尚硅谷大数据项目之Flink实时数仓---DWM层
DWM 层部分的代码主要的责任,是通过计算把一种明细转变为另一种明细以应对后续的统计。学完本阶段内容要求掌握转载 2022-07-22 20:28:28 · 1072 阅读 · 0 评论 -
【学习笔记】尚硅谷大数据项目之Flink实时数仓---DWD和DIM
https://www.bilibili.com/video/BV1Ju411o7f8?p=76&spm_id_from=333.1007.top_right_bar_window_history.content.click&vd_source=8d02a87c6f14c53617acc291fbe1efa8转载 2022-07-18 20:17:31 · 1564 阅读 · 1 评论 -
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集原创 2022-07-14 17:00:41 · 4119 阅读 · 2 评论 -
【Azkaban报错解决】FAILED: SemanticException Failed to get a spark session
问题描述:ods_to_dwd_log报以下错误ods_to_dim_db报一下错误可以看出都是相同报错,无法创建spark事务Logging initialized using configuration in jar:file:/opt/module/hive/lib/hive-common-3.1.2.jar!/hive-log4j2.properties Async: true05-05-2022 14:31:02 CST ods_to_dim_db INFO - Hive Sess原创 2022-05-07 20:21:03 · 4620 阅读 · 0 评论 -
【学习笔记】可视化工具之 Superset
可视化工具之 Superset第1章 Superset入门1.1 Superset概述1.2 Superset应用场景第2章 Superset安装及使用2.1 安装Python环境2.1.1 安装Miniconda2.1.2 创建Python3.7环境2.2 Superset部署2.2.1 安装依赖2.2.2 安装Superset2.2.3 启动Supterset2.2.4 superset启停脚本第3章 Superset使用3.1 对接MySQL数据源3.1.1 安装依赖3.1.2 重启Superset3原创 2022-04-27 16:10:29 · 2397 阅读 · 1 评论 -
【尚硅谷】电商数仓V4.0丨大数据数据仓库项目实战【学习记录】第二节
电商数据仓库系统6. 数仓搭建-DWD层启动日志表–对应一个启动日志页面日志表–对应一个页面埋点日志动作日志表–在一个页面埋点日志会有多个动作一行数据是一个动作,所以就需要一进多出的操作,UDTF函数6.1.5 动作日志表装载中定义UDTF函数动作日志解析思路:动作日志表中每行数据对应用户的一个动作记录,一个动作记录应当包含公共信息、页面信息以及动作信息。先将包含action字段的日志过滤出来,然后通过UDTF函数,将action数组“炸开”(类似于explode函数的效果),然后使用get_原创 2022-04-27 08:52:43 · 3592 阅读 · 0 评论 -
【尚硅谷】电商数仓V4.0丨大数据数据仓库项目实战【学习记录】第一节
【尚硅谷】电商数仓V4.0丨大数据数据仓库项目实战【学习记录】思考问题?1. 为什么用hive on spark来处理数据?1. 数据仓库概念1.1 原始数据备份到ODS中1.2 DWD完成数据的清洗1.3 join形成大的分表(DWS,DWT)1.4 ADS 结果报表1.5 输出1.5.1 报表系统1.5.2 用户画像1.5.3 推荐系统1.5.4 机器学习2. 项目需求及架构设计2.1 项目需求2.2 项目框架2.2.1 技术选型2.2.2 系统数据流程设计2.2.3 框架发行版本选型2.2.4 服务器原创 2022-04-25 20:03:07 · 2271 阅读 · 0 评论