启动spark集群需要用到的一些命令

开启hadoop集群：start-all.sh

关闭hadoop集群：stop-all.sh

开启spark的主节点：start-master.sh 其他节点：start-slaves.sh

关闭spark的主节点：stop-master.sh 其他节点：stop-slaves.sh

spark的启动方法：
/usr/local/spark/bin/spark-shell 启动spark
如果不使用hdfs和yarn 可以不启动hadoop 如果需要使用的话 要用命令行 start-dfs.sh
启动hadoop；启动以后，打开ssh localhsot,可以在网页中登录localhost:9870 查看hdfs的文件信息等；
使用stop-dfs.是可以关闭hadoop

使用scala编写的程序需要使用sbt进行编译打包，相应的，Java程序使用Maven