大数据讲座（2018.07.15）

数据来了之后，

Hbase，插入删除数据有flush

Hbase，是有时间戳的

 

MySQL某一个列改名了，

 

Flink:实时往hbase中插入数据

Hbase可以对每张表打一份快照。

不怕数据同步消费。

 

Hive查hbase的数据，效率极低。

用hive从hdfs上查数据，效率几分钟就能搞定。

 

Hbase

Kafaka

Stream

Storm

各个的优缺点

 

首先是功能的实现

其次是参数的调优

数据数量是PB

 

那些是用来计算的，哪些是用来传递参数的，那些是用来

 

所做的事：

功能的实现

最重要的是参数的调优

修改源代码

 

三点建议：

1. 多看源码

2. 多看官方文档

3. 多看错误日志

 

周报，日报，月报

交通部

 

Sqoop

Flume

会用就可以了