centos6 5安装配置spark

                       

安装java

1. 下载jdk
2. 解压 tar -zxvf jdk-8u91-linux-x64.tar.gz

3. 设置JAVA_HOME：修改配置文件vi /etc/profile，最后一行添加以下代码

   export JAVA_HOME=/usr/java/jdk1.8.0_91   export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  export PATH=$PATH:$JAVA_HOME/bin
       
       
   1
   2
   3

4. 命令：source /etc/profile 使文件立即生效

5. 命令：java -version 检测是否安装成功

安装hadoop

安装hadoop的文章链接

安装spark

1. 下载spark
   
2. 解压

3. 修改配置文件vi /etc/profile，最后一行添加以下代码

   export SPARK_HOME=/home/sparkexport PATH=$PATH:$SPARK_HOME/bin
       
       
   1
   2

4. 命令：source /etc/profile 使文件立即生效

5. spark-shell 命令，即可启动spark单机模式

6. 配置spark-env.sh，进入spark/conf

   mv spark-env.sh.template spark-env.shvim spark-env.sh#以下添加在末尾export  SPARK_MASTER_IP=192.168.232.130export  SPARK_LOCAL_IP=192.168.232.130
       
       
   1
   2
   3
   4
   5
   6
   7

   192.168.232.130为本机的ip

7. spark/sbin/start-all.sh 命令，即可启动伪分布式模式

           

再分享一下我老师大神的人工智能教程吧。零基础！通俗易懂！风趣幽默！还带黄段子！希望你也加入到我们人工智能的队伍中来！https://blog.csdn.net/jiangjunshow