Spark安装本地启动

下载并安装

1.下载

• 官网地址：https://archive.apache.org/dist/spark/spark-2.1.1/
• 将下载好的压缩包spark-2.1.1-bin-hadoop2.7.tgz，上传到服务器。
  

2.安装启动

• 1.将压缩包解压到当前目录。
  
• 2.进入bin目录执行命令 spark-shell。本地模式启动spark
  

---

3.遇到的问题

1.启动spark失败，提示 JAVA_HOME is not set
解决办法：修改 sbin/spark-config.sh文件。加入JAVA_HOME设置。

2.启动spark失败提示： java.net.BindException: 无法指定被请求的地址: Service ‘sparkDriver’ failed after 16 retries (starting from 0)!

问题原因：/etc/sysconfig/network-scripts/ifcfg-ens33配置的ip地址和/etc/hosts文件中的地址不一致。

解决办法：修改本机/etc/hosts文件，配置 ip hostname。

---

本机地址查看命令：ip addr

本机hostname查看命令：hostname