spark 2.3.1 standalone模式服务搭建-初级

前阵子学习spark，搭建了standalone模式的服务，总结下

1.首先从spark官网下载http://spark.apache.org/downloads.html 下载spark包，版本号我用的是2.3.1，两个带hadoop版本的都行，因为standalone模式是不需要hadoop环境的。

2.下载完成后，解压，直接运行sbin/start-master.sh，服务启动后，可以通过ip：8080 访问看下服务的情况，这时候master模式使用的是localhost，如果想要绑定其他ip，sbin/start-master.sh -p ip，就可以，这时候访问ip:8080 就能看到spark的地址有变化。master服务启动完成。

3.启动slave服务，/sbin/start-slave.sh 这样就启动slave服务了，这时候访问ip:8080 ，就能看到worker里有新的机器了。

 

这样简单的standalone模式的spark服务就搭建完成了。

 

具体的再可以参考spark官方文档，其他搜索的教程尽量别参考了，版本差别很大，自己踩过好多坑。 http://spark.apache.org/docs/latest/spark-standalone.html

转载于:https://my.oschina.net/u/3396724/blog/1841654