【大数据-课程】高途-天翼云侯圣文-Day1：互联网大数据揭秘（大数据介绍&MR实现双十一举牌）...

一、大厂职级

P7：年薪百万

二、大数据发展

1、职业路线和岗位角色

2、大数据行业发展

三、大数据的位置

1、热门行业

大数据承上启下

2、三者关系

啤酒和尿不湿：启发可以放在一块

3、大数据作用

杀熟：卖东西卖的贵

反杀熟：卸载自己软件，安装其他软件，推送

四、大数据理解

1、数据时代

IT-DT

 2、大数据特征

 

 ZB，世界所有体量，大概44ZB

 

 

 真实性：数据ETL清洗

 3、表现形式

半结构化

非结构化

4、处理方式

处理

流处理

精准计算-Exactly-once 

 

 

 

5、处理平台

廉价服务器提升海量计算能力

 普通数据库，只能达到TB

多快好省，才是大数据

五、大数据深入理解

1、深入理解

表示一种能力

2、阿里发展

 

 

3、T腾讯大数据演进

六、技术侧理解

1、大数据前世今生

java实现Hadoop的论文

 2、Hadoop组成

存和算

(1)存

元数据管理进行存

 

取：类似新华字典找目录，就对应其元数据

namenode有多个：standby、联邦学习

(2)算

map

 

shuffle

reduce 

并行计算

(3)案例：集团网页文件个事访问延迟分析

 

(3)数据流转-生产架构

分久必合，合久必分

3、大数据的组件

 存：hudi，数据湖，湖仓一体

七、大数据应用案例-使用MapReduce实现手动举数

1、记住

联系老师要实战三件套：源码、手册、视频

2、双十一大屏

 

3、使用-Python实现

今天：Python

明天：hive sql

后天：Scala实现flink

 (1)生成模拟数据

50个买家买3个商品

(2)map构建

K-V构建

 

(3)reduce实现

(4)执行程序

4、学习方法

道法术