扫码下载「CSDN程序员学院APP」,1000+技术好课免费看
APP订阅课程,领取优惠,最少立减5元 ↓↓↓
订阅后:请点击此处观看视频课程
视频教程-全新大数据企业电商数据仓库项目实战教程-大数据
学习有效期:永久观看
学习时长:1758分钟
学习计划:30天
难度:高
「口碑讲师带队学习,让你的问题不过夜」
讲师姓名:张长志
CTO/CIO/技术副总裁/总工程师
讲师介绍:张长志技术全才、擅长领域:区块链、大数据、Java等。10余年软件研发及企业培训经验,曾为多家大型企业提供企业内训如中石化,中国联通,中国移动等知名企业。拥有丰富的企业应用软件开发经验、深厚的软件架构设计理论基础及实践能力。项目开发历程:基于大数据技术推荐系统 ,医疗保险大数据分析与统计推断,H5跨平台APP,携程酒店APP,Go语言实现Storm和ZK类似框架。
☛点击立即跟老师学习☚
「你将学到什么?」
本教程为授权出品
一、课程简介
数据仓库(Data Warehouse,可简写为DW或DWH),是面向分析的集成化数据环境,为企业决策制定过程,提供系统数据支持的战略集合,是国内外各大公司正在重点投入的战略级技术领域。
二、课程内容
《大数据电商数仓项目实战》视频教程,从项目架构的搭建,到数据采集模块的设计、数仓架构的设计、实战需求实现、即席查询的实现,我们针对国内目前广泛使用的Apache原生框架和CDH版本框架进行了分别介绍,Apache原生框架介绍中涉及到的技术框架包括Flume、Kafka、Sqoop、MySql、HDFS、Hive、Tez、Spark、Presto、Druid等,CDH版本框架讲解包括CM的安装部署、Hadoop、Zookeeper、Hive、Flume、Kafka、Oozie、Impala、HUE、Kudu、Spark的安装配置,透彻了解不同版本框架的区别联系,将大数据全生态系统前沿技术一网打尽。在过程中对大数据生态体系进行了系统的讲解,对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。同时穿插了大量数仓基础理论知识,让你在掌握实战经验的同时能够打下坚实的理论基础。
三、课程目标
本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以及难点实战指标进行了详尽讲解,具体指标包括:每日、周、月活跃设备明细,留存用户比例,沉默用户、回流用户、流失用户统计,最近连续3周活跃用户统计,最近7天内连续3天活跃用户统计,GMV成交总额分析,转化率及漏斗分析,品牌复购率分析、订单表拉链表的设计等,让学生拥有更直观全面的实战经验。通过对本课程的学习,对数仓项目可以建立起清晰明确的概念,系统全面的掌握各项数仓项目技术,轻松应对各种数仓难题。
四、课程亮点
本课程结合国内多家企业实际项目经验,特别加入了项目架构模块,从集群规模的确定到框架版本选型以及服务器选型,手把手教你从零开始搭建大数据集群。并且总结大量项目实战中会遇到的问题,针对各个技术框架,均有调优实战经验,具体包括:常用Linux运维命令、Hadoop集群调优、Flume组件选型及性能优化、Kafka集群规模确认及关键参数调优。通过这部分学习,助学生迅速成长,获取前沿技术经验,从容解决实战问题。
「课程学习目录」
1.01_数仓项目介绍 |
2.02_数仓采集_用户行为采集课程介绍 |
3.03_数仓采集_数仓的概念 |
4.04_数仓采集_项目需求 |
5.05_数仓采集_项目技术选型 |
6.06_数仓采集_系统数据流程设计 |
7.07_数仓采集_框架版本选型 |
8.08_数仓采集_框架版本具体型号 |
9.09_数仓采集_服务器选型 |
10.10_数仓采集_集群资源规划设计 |
11.11_数仓采集_测试集群服务器规划 |
12.12_数仓采集_埋点数据基本格式 |
13.13_数仓采集_事件日志数据(上) |
14.14_数仓采集_事件日志数据(下) |
15.15_数仓采集_日志生成代码编写 |
16.16_数仓采集_Logback日志打印控制 |
17.17_数仓采集_服务器准备 |
18.18_数仓采集_Hadoop安装 |
19.19_数仓采集_项目经验之HDFS多目录配置 |
20.20_数仓采集_项目经验之支持LZO压缩配置 |
21.21_数仓采集_项目经验之基准测试 |
22.22_数仓采集_项目经验之HDFS参数调优 |
23.23_数仓采集_Zookeeper安装 |
24.24_数仓采集_项目经验之ZK集群启动停止脚本 |
25.25_数仓采集_生成测试日志 |
26.26_数仓采集_集群日志生成启动脚本 |
27.27_数仓采集_集群时间同步修改脚本 |
28.28_数仓采集_集群所有进程查看脚本 |
29.29_数仓采集_每日回顾 |
30.30_数仓采集_日志采集Flume安装 |
31.31_数仓采集_Flume组件及配置 |
32.32_数仓采集_日志采集Flume配置分析 |
33.33_数仓采集_ETL拦截器 |
34.34_数仓采集_分类型拦截器 |
35.35_数仓采集_日志采集Flume启动停止脚本 |
36.36_数仓采集_Kafka集群安装 |
37.37_数仓采集_Kafka集群启动停止脚本 |
38.38_数仓采集_Kafka Manager安装及脚本 |
39.39_数仓采集_项目经验之Kafka压力测试 |
40.40_数仓采集_项目经验之Kafka机器数量计算 |
41.41_数仓采集_消费Kafka数据Flume |
42.42_数仓采集_项目经验之Flume内存优化 |
43.43_数仓采集_项目经验之Flume组件 |
44.44_数仓采集_采集通道启动停止脚本 |
45.45_数仓采集_调试经验 |
46.46_数仓采集_面试题(Linux、Hadoop) |
47.47_数仓采集_面试题(Flume、Kafka) |
48.48_用户行为数仓_每日回顾 |
49.49_用户行为数仓_用户行为数仓课程介绍 |
50.50_用户行为数仓_为什么要分层 |
51.51_用户行为数仓_数仓分层 |
52.52_用户行为数仓_数据集市与数据仓库概念 |
53.53_用户行为数仓_数仓命名规范 |
54.54_用户行为数仓_Hive&MySQL安装 |
55.55_用户行为数仓_Hive运行引擎Tez |
56.56_用户行为数仓_项目经验之元数据备份 |
57.57_用户行为数仓_ODS层启动日志和事件日志表创建 |
58.58_用户行为数仓_ODS层加载数据脚本 |
59.59_用户行为数仓_DWD层启动日志建表及导入数据 |
60.60_用户行为数仓_DWD层启动表加载数据脚本 |
61.61_用户行为数仓_DWD层事件基础明细表创建 |
62.62_用户行为数仓_自定义UDF函数(解析公共字段) |
63.63_用户行为数仓_自定义UDTF函数(解析事件) |
64.64_用户行为数仓_DWD层数据解析脚本 |
65.65_用户行为数仓_DWD层事件表加载数据脚本 |
66.66_用户行为数仓_今日回顾 |
67.67_用户行为数仓_业务术语 |
68.68_用户行为数仓_日期的系统函数 |
69.69_用户行为数仓_每日活跃设备明细 |
70.70_用户行为数仓_每周活跃设备明细 |
71.71_用户行为数仓_每月活跃设备明细 |
72.72_用户行为数仓_DWS层加载数据脚本 |
73.73_用户行为数仓_需求一:ADS层日活等 |
74.74_用户行为数仓_每日新增设备明细表 |
75.75_用户行为数仓_需求二:ADS层每日新增设备表 |
76.76_用户行为数仓_用户留存分析 |
77.77_用户行为数仓_1、2、3、n日留存用户明细 |
78.78_需求三:ADS层留存用户和留存比率 |
79.79_用户行为数仓_新数据准备 |
80.80_用户行为数仓_需求四:沉默用户 |
81.81_用户行为数仓_需求五:本周回流用户数 |
82.82_用户行为数仓_需求六:流失用户 |
83.83_用户行为数仓_需求七:最近连续3周活跃用户数 |
84.84_需求八:最近七天内连续三天活跃用户数 |
85.85_用户行为数仓_用户行为数仓业务总结 |
86.86_用户行为数仓_Hive企业面试题总结 |
87.87_业务数仓_业务数仓课程介绍 |
88.88_业务数仓_电商业务与数据结构简介 |
89.89_业务数仓_表的分类 |
90.90_业务数仓_同步策略 |
91.91_业务数仓_范式理论 |
92.92_业务数仓_雪花模型、星型模型和星座模型 |
93.93_业务数仓_配置Hadoop支持Snappy压缩 |
94.94_业务数仓_业务数据生成 |
95.95_业务数仓_Sqoop安装及参数 |
96.96_业务数仓_Sqoop导入数据 |
97.97_业务数仓_ODS层建表及数据导入 |
98.98_业务数仓_DWD层建表及导入数据 |
99.99_业务数仓_需求讲解 |
100.100_业务数仓_DWS层之用户行为宽表 |
101.101_业务数仓_需求九:GMV成交总额 |
102.102_需求十:ADS层之新增用户占日活跃用户比率 |
103.103_需求十一:ADS层之用户行为漏斗分析 |
104.104_业务数仓_用户购买商品明细表(宽表) |
105.105_业务数仓_需求十二:ADS层品牌复购率 |
106.106_需求十三:求每个用户对应复购率前十商品排行 |
107.107_业务数仓_数据可视化 |
108.108_业务数仓_Azkaban安装 |
109.109_业务数仓_GMV指标获取的全调度流程 |
110.110_业务数仓_拉链表理论 |
111.111_业务数仓_拉链表制作 |
112.112_业务数仓_业务数仓项目总结 |
113.113_业务数仓_即席数仓课程介绍 |
114.114_即席数仓_Presto简介 |
115.115_即席数仓_Presto安装及使用 |
116.116_即席数仓_Presto优化 |
117.117_即席数仓_Druid概念、特点、场景 |
118.118_即席数仓_Druid对比其他框架 |
119.119_即席数仓_Druid框架原理 |
120.120_即席数仓_Druid数据结构 |
121.121_即席数仓_Druid安装 |
122.122_面试题_总体架构 |
123.123_面试题_技术框架 |
124.124_面试题_用户行为、业务数据、即席查询 |
125.125_面试题_开发经验 |
126.126_CDH数仓_课程介绍 |
127.127_CDH数仓_CM简介及架构 |
128.128_CDH数仓_CM安装环境准备 |
129.129_CDH数仓_CM、Hadoop、Zk安装 |
130.130_CDH数仓_采集Flume的安装 |
131.131_CDH数仓_Kafka安装 |
132.132_CDH数仓_测试Flume和Kafka安装 |
133.133_CDH数仓_消费Flume配置完成 |
134.134_CDH数仓_Hive、Oozie、Hue安装 |
135.135_CDH数仓_用户行为数仓ODS层导数据 |
136.136_CDH数仓_用户行为数仓完结 |
137.137_CDH数仓_业务数据生成 |
138.138_CDH数仓_业务数仓完结 |
139.139_CDH数仓_Oozie执行前准备 |
140.140_CDH数仓_Oozie任务编写及运行 |
141.141_CDH数仓_即席查询数仓搭建Impala |
142.142_CDH数仓_Spark安装及总结 |
「7项超值权益,保障学习质量」
- 大咖讲解
技术专家系统讲解传授编程思路与实战。
- 答疑服务
专属社群随时沟通与讲师答疑,扫清学习障碍,自学编程不再难。
- 课程资料+课件
超实用资料,覆盖核心知识,关键编程技能,方便练习巩固。(部分讲师考虑到版权问题,暂未上传附件,敬请谅解)
- 常用开发实战
企业常见开发实战案例,带你掌握Python在工作中的不同运用场景。
- 大牛技术大会视频
2019Python开发者大会视频免费观看,送你一个近距离感受互联网大佬的机会。
- APP+PC随时随地学习
满足不同场景,开发编程语言系统学习需求,不受空间、地域限制。
「什么样的技术人适合学习?」
- 想进入互联网技术行业,但是面对多门编程语言不知如何选择,0基础的你
- 掌握开发、编程技术单一、冷门,迫切希望能够转型的你
- 想进入大厂,但是编程经验不够丰富,没有竞争力,程序员找工作难。
「悉心打造精品好课,30天学到大牛3年项目经验」
【完善的技术体系】
技术成长循序渐进,帮助用户轻松掌握
掌握大数据知识,扎实编码能力
【清晰的课程脉络】
浓缩大牛多年经验,全方位构建出系统化的技术知识脉络,同时注重实战操作。
【仿佛在大厂实习般的课程设计】
课程内容全面提升技术能力,系统学习大厂技术方法论,可复用在日后工作中。
「你可以收获什么?」
1.从项目架构的搭建,到数据采集模块的设计、数仓架构的设计、实战需求实现
2.在过程中对大数据生态体系进行了系统的讲解,对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。