- 博客(3)
- 收藏
- 关注
RSS订阅原创 Build Spark1.3.1 with CDH HADOOP
Build Spark1.3.1 with CDH HADOOP1、找到CDH的版本[root@web02 spark1.3]# hadoop version Hadoop 2.0.0-cdh4.7.0 Subversion file:///var/lib/jenkins/workspace/CDH4.7.0-Packaging-Hadoop/build/cdh4/hadoop/2.0.0-cdh4
2015-04-20 16:39:53
2717
原创 sbt pom reader - sbt读取pom
sbt pom reader - sbt读取pomSpark为了依赖项的统一管理用了sbt pom reader这个插件，sbt编译发布也是从pom里读GAV了。 我记得老版本sbt的依赖项是写在project/SparkBuild.scala里的。这个工具在java/scala项目内很有使用场景。地址在：https://github.com/sbt/sbt-pom-reader1.配置插件在/ap
2015-04-20 12:05:01
3292
翻译 Apache Hadoop NextGen MapReduce (YARN)
Apache Hadoop NextGen MapReduce (YARN)MRV2的设计是基于分离JobTracker的主要职能，将以下2个职能放在2个单独的进程中，以前都是在一个(JobTracker)进程中。1、资源管理 2、Job调度/监控2个核心概念： 1、全局的资源管理器 global Resource Manager (RM) 2、Per Application 每个应用程序有一
2015-04-17 18:03:04
1481
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人