hadoop/spark
edagarli
java
展开
-
spark
spark 1. 比起hadoop hr在于快。。 2.spark 利用 delay schedule来解决速度。(简单的来说就是延迟很短的时间来看本机是否可以利用。而不是copy) 3.支持3种语言 scala(2.10.x) python(推荐python2.7。。最好不要用3.0以上的) java(请用java8) (java8以前版本的太慢了。不推荐原创 2014-04-10 21:56:44 · 1318 阅读 · 0 评论 -
hadoop备记
Hadoop 的优势 Hadoop 是 一 个 能 够 让 用 户 轻 松 架 构 和 使 用 的 分 布 式 计 算 平 台。 用 户 可 以 轻 松 地 在Hadoop 上开发运行处理海量数据的应用程序。它主要有以下几个优点: 1.高可靠性。Hadoop 按位存储和处理数据的能力值得人们信赖。 2.高扩展性。Hadoop 是在可用的计算机集簇间分配数据完成计算任务的, 这些集簇可以方便地原创 2014-05-20 01:39:26 · 1332 阅读 · 0 评论