大数据技术,也是数据技术,是对数据进行采集,存储,计算的处理过程。按照这些处理过程,可以分为以下几个板块。
大数据技术板块划分
- 数据采集
- flume kafka logstash filebeat ...
- 数据存储
- mysql redis hbase hdfs ...
- 虽然mysql不属于大数据范畴 但是我在这也列出来了,因为你在工作中离不开它
- mysql redis hbase hdfs ...
- 数据查询
- hive impala elasticsearch kylin ...
- 数据计算
- 实时计算
- storm sparkstreaming flink ...
- 离线计算
- hadoop spark ...
- 实时计算
- 其他框架
- zookeeper
数据挖掘和大数据工程,是大数据的两个不同的细分方向。
数据挖掘偏向于数据建模和数据分析,发现数据之间的规律,最高岗位是数据科学家。
大数据工程是对数据进行采集,存储,加工,产品化的过程。
某学校本科数据挖掘方向和大数据工程方向