软件版本:
Spark1.4.1 ,Hadoop2.6,Scala2.10.5 , Eclipse4.5.1,intelliJ IDEA14,JDK1.7
集群环境:
windows7 (包含JDK1.7,Eclipse4.5.1,IntelliJ IDEA14);
centos6.6虚拟机(Hadoop分布式集群,JDK1.7)node1:NameNode/ResourceManager ; node2: SecondaryNameNode ; node3/node4: DataNode/NodeMananger
node1->192.168.0.31 ;(其他节点ip以此类推)
任务描述:
实现Eclipse直接调用使用IDEA打包好的jar包,调用Spark相关算法;
步骤及代码描述:
1. 使用IDEA打包相关算法jar包,如Spark-als.jar ,在算法里面不需要设置spark master,如下代码:
val conf = new SparkConf().setAppName("train ALS Model ")
val sc = new SparkContext(conf)
val ratings = sc.textFile(input).map{
3. 新建demo.Utils 类,如下:
package demo;
import org.apache.hadoop.conf.Configuration;
import org.apache.spark.SparkConf;
import org.apache.spark.deploy.yarn.Client;
import org.apache.spark.deploy.yarn.ClientArguments;
public class Utils {
p