Hadoop生态
F_T_D
黎明的太阳在地平线等待着不断攀爬的人
展开
-
Spark与Hadoop(MapReduce)
Hadoop存在如下一些缺点:表达能力有限 磁盘IO开销大 延迟高 任务之间的衔接涉及IO开销 在前一个任务执行完成之前,其他任务就无法开始,难以胜任复杂、多阶段的计算任务Spark具有如下几个主要特点:运行速度快:使用DAG执行引擎以支持循环数据流与内存计算 容易使用:支持使用Scala、Java、Python和R语言进行编程,可以通过Spark Shell进行交互式编程 ...原创 2018-07-22 00:10:51 · 1908 阅读 · 0 评论 -
Hbase技术详细学习笔记
Hbase技术详细学习笔记看过关于HBase技术原理最好的一篇文章转自:https://www.jianshu.com/p/569106a3008f 最近在逐步跟进Hbase的相关工作,由于之前对Hbase并不怎么了解,因此系统地学习了下Hbase,为了加深对Hbase的理解,对相关知识点做了笔记,并在组内进行了Hbase相关技术的分享,由于Hbase涵盖的内容比较多,因此计划分享...转载 2018-08-03 07:51:05 · 281 阅读 · 0 评论