spark启动

spark启动

注意在启动spark时候要指定参数 要不就死启动的单机版的

   

/usr/local/spark-1.5.2-bin-hadoop2.6/bin/spark-shell \

--master spark://node1.itcast.cn:7077 \ 

--executor-memory 2g \

--total-executor-cores 2

 

参数说明：

--master spark://node1.itcast.cn:7077 指定Master的地址

--executor-memory 2g 指定每个worker可用内存为2G

--total-executor-cores 2 指定整个集群使用的cup核数为2个

 

这样便启动了 worker  master

 

启动 spark-shell

上传文件 到 hdfs

spark-shell中编写spark程序

 

posted @ 2017-08-13 17:25 toov5 阅读( ...) 评论( ...) 编辑 收藏