![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据开发
邝邝的数据分析之路
这个作者很懒,什么都没留下…
展开
-
Hadoop生态系统
在从事数据分析过程中,经常接触一些大数据平台的概念,但由于不是计算机专业背景,刚开始看这些专业名词的时候还是比较迷糊。最近看了一些关于hadoop生态系统的材料,本文是对这些文章材料的总结,希望可以形成对于该领域的知识体系。1、系统架构图hadoop 1.0:hadoop 2.0:2、HDFS,分布式文件系统HDFS是hadoop体系转载 2017-11-26 19:29:26 · 500 阅读 · 0 评论 -
Spark+Spark streaming+kafka简介和总结
接上文《Hadoop生态系统》,对Spark的相关内容进行总结。1、Hadoop和Spark的关系Spark是为了跟Hadoop配合而开发出来的,不是为了取代Hadoop,专门用于大数据量下的迭代式计算。Spark运算比Hadoop的MapReduce框架快的原因是因为Hadoop在一次MapReduce运算之后,会将数据的运算结果从内存写入到磁盘中,第二次MapReduce运转载 2017-11-27 17:03:34 · 6003 阅读 · 5 评论