很多人都知道大数据很受欢迎。他们的工作很好,薪水也很高。他们希望朝着大数据的方向发展。但是我们学到了什么技术和路线呢?
大数据的三个发展方向,平台建设/优化/运行/维护/监控,大数据开发/设计/架构,数据分析/挖掘。
首先,说大数据的4V特征:
数据量大,TB-PB
有多种类型的数据,如结构化的、非结构化的文本、日志、视频、图片、地理位置等。
商业价值很高,但是通过数据分析和机器学习需要大量的数据挖掘。
处理时间非常高,对海量数据处理的需求不再局限于离线计算。
现在,为了应对这些大数据的特点,开源大数据框架正变得越来越强大。
文件存储:Hadoop HDFS,Takyon,KFS
离线计算:Hadoop MapReduce,火花
流媒体