开启hadoop集群:start-all.sh
关闭hadoop集群:stop-all.sh
开启spark的主节点:start-master.sh 其他节点:start-slaves.sh
关闭spark的主节点:stop-master.sh 其他节点:stop-slaves.sh
spark的启动方法:
/usr/local/spark/bin/spark-shell 启动spark
如果不使用hdfs和yarn 可以不启动hadoop 如果需要使用的话 要用命令行 start-dfs.sh
启动hadoop;启动以后,打开ssh localhsot,可以在网页中登录localhost:9870 查看hdfs的文件信息等;
使用stop-dfs.是可以关闭hadoop
使用scala编写的程序需要使用sbt进行编译打包,相应的,Java程序使用Maven