上次接触spark还在2013年,那会应该是0.*的版本,相当的不稳定,近两年spark越来越火,实在是受不了诱惑,膜拜膜拜。
安装那点小事
单机伪分布尝尝鲜,下载http://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.7.tgz,要求python2.6+ java1.7+ scala2.11+
解压后,sbin/start-master.sh启动ok
ui:http://ip:8088
server:http://host:7077
启动worker sbin/start-worker.sh host:7077