Hadoop & Spark
iamxiaofeifei
Thinking and coding...
展开
-
hadoop基础概述
1. hadoop的诞生Google大数据技术主要包含三大部分,MapReduce、BigTable、GFS,主要具有以下特点: - 成本降低,能用pc机就不用大型机和高端存储。 - 软件容错,硬件故障视为常态,通过软件保证高可靠性 - 简化并行分布式计算,无须控制节点同步和数据交换。Hadoop就是根据谷歌发布的相关技术论文,模仿谷歌大数据技术的一个开源实现。 Hadoop是开源的分布式存原创 2017-08-08 20:11:49 · 419 阅读 · 0 评论 -
Spark SQL的愿景
一、Spark SQL的愿景主要有以下三点: - Write less code - Read less data - Let the optimizer do the hard work二、Write less codeUnified interface to reading/writing data in a variety of formats 对不同的数据类型使用统一的接口来原创 2017-08-16 17:33:42 · 412 阅读 · 0 评论