大数据是什么
经常听别人说“我要去学习大数据”,乍一听大数据应该是某个技术。
百度解释:无法在规定时间内用给现有的常规软件工具对其内容进行抓取、管理和处理的数据集合。通俗讲,大数据就是大到难以处理的数据集合,是社会技术发展过程中碰到的棘手问题。
于是,我们为了解决这个问题,衍生出各种技术,而这些技术才是我们学习的内容。所以说,“我要去学习大数据”完整的说法应该是“我要去学习处理大数据问题的技术”。
大数据技术生态圈
先放图:
注:图中左侧是技术大分类,右侧是技术细分,括号中是列举的具体技术关键字
大数据技术分类 | 大数据技术与工具 |
---|---|
基础架构支持 | 云计算平台(Apache Hadoop、OpenStark) |
储存虚拟化、分布式存储 | |
虚拟化(VM、Docker) | |
网络(OpenFlow) | |
数据采集 | 数据总线 |