最全SPARK环境（集群、windows、linux）的搭建

最新推荐文章于 2024-04-18 18:49:13 发布

睡醒了的小码媛

最新推荐文章于 2024-04-18 18:49:13 发布

阅读量2.3k

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/weixin_42152164/article/details/84167713

版权

本文详细介绍了如何在不同平台上搭建Spark环境，包括集群、Windows和Linux系统。首先确保配置好Hadoop和Java环境，然后分别进行Spark和Scala的安装、环境变量配置、Spark相关参数设置、启动HDFS以及进行Spark环境测试。在Windows环境下，需安装Java和Scala，解压Spark安装包并配置Python开发插件。在Linux环境下，同样需要安装Java，解压Spark和Hadoop，配置环境变量。文章最后提供了解压和复制文件的具体步骤。

摘要由CSDN通过智能技术生成

Spark集群环境搭建
   -0. 前提：配置好Hadoop和JAVA的开发环境

   -1. 上传Spark和Scala压缩包（到~/software文件夹中）

   -2. 解压压缩包
   $ tar -zxvf ~/software/spark-1.6.1-bin-2.5.0-cdh5.3.6$cdh版本已经编译好的$.tgz -C ~/modules/
   $ tar -zxvf ~/software/scala-2.10.4.tgz -C ~/modules/

   -3. 配置环境变量
   $ vim ~/.bash_profile
# SCALA
export SCALA_HOME=/home/hadoop/modules/scala-2.10.4
export PATH=$PATH:$SCALA_HOME/bin

# SPARK
export SPARK_HOME=/home/hadoop/modules/spark-1.6.1-bin-2.5.0-cdh5.3.6
export PATH=$PATH:$SPARK_HOME/bin
$ source ~/.bash_profile

-4. 配置Spark相关参数项

       --1. 进入Spark根目录
       $ cd $SPARK_HOME

       --2. 修改配置文件
       $ mv conf/spark-env.sh.template conf/spark-env.sh
       $ vim conf/spark-env.sh
JAVA_HOME=