认识大数据

认识大数据

总结一下近期学习的大数据知识，主要是参考了厦门大学林子雨老师的博客。

--- 传统的Web应用（LAMP、JavaEE、NODE系等）与大数据的关系

之前一直以为大数据的东西就是来取代传统的Web应用的，其实并不是这样。即使是大数据的架构，应用层依然会是传统的web应用，但是会根据数据特点对数据进行存储（结构化数据依然会保存在传统的关系型数据库，如MySql，日志等非结构数据会保存在分布式文件系统，如Hadoop的HDFS）。

大数据的东西不是取代传统的Web应用，而是对Web应用的增强。基于分布式存储和分布式计算，以前单机或者小规模集群无法解决的问题，使用了大数据技术之后就可以解决了。比如日志等数据当数据量非常大的时候（TB甚至PB），对这些数据的分析在传统架构上是不可能或者是非常慢的，使用了大数据技术之后就是可能的了，主要是将数据处理通过MapReduce等拆分到不同的节点（电脑）上执行，然后将节点上的结果合并，最后生成分析结果。

--- 云计算和大数据的关系

这个话题在林子雨老师的教程的“第一讲 大数据概述”里介绍的非常好，感兴趣的朋友可以自己去看看，这里概括总结为：“云计算为大数据提供了技术基础，大数据为云计算提供了用物之地”。

现在几乎所有的公司都把自己的产品吹成“云”......但是真的都是“云”么？其实很多都是传统的Web应用部署到阿里云这些第三方云平台吧,还有一部分有自己服务器（一般配置），然后搞个公网IP，部署上去也说自己是“云”。

转自：https://www.jianshu.com/p/34ec406eb40d