大数据
文章平均质量分 74
fudanstar
学生
展开
-
win7平台上使用eclipse(luna)将mapred任务上传到集群上运行
win7平台上使用eclipse(luna)将mapred任务上传到集群上运行本地环境: jdk版本 1.7.0_51 hadoop版本:2.4.1和2.7.2 hadoop eclipse插件:hadoop-eclipse-plugin-2.4.1.jar hadoop集群环境: jdk版本 1.7.0_79 hadoop版本:2.7.2 一台master,两台slaver,使用YARN做资源管理原创 2016-09-25 14:59:11 · 671 阅读 · 0 评论 -
在windows上使用eclipse提交Spark任务到Spark平台上
在windows上使用eclipse提交Spark任务到Spark平台上平台环境: 本地win7系统 本地spark和集群spark都是2.0.0 eclipse(luna) 运行模式: local Spark Standalone 程序代码如下:package sparkproject1;import scala.Tuple2;import org.apache.spark.SparkConf;原创 2016-09-28 16:20:27 · 8911 阅读 · 10 评论