【Hadoop／Spark】Hadoop、Spark安装详解

前言

之前有安装过Hadoop，最近想学学spark，因为spark需要和Hadoop版本统一，索性就卸了Hadoop重新装，折腾了几个小时终于都弄好了，现在把安装步骤整理出来。

系统／环境

Mac os

已经安装的软件：python3.6、jdk1.8.0_121

ssh设置

1.开启Mac系统的远程登陆

系统偏好设置——共享——远程，如下图设置：

2.在terminal中输入下面语句，然后一直回车。当执行完这条指令之后你可以在前往到~/.ssh目录下发现id_rsa、id_rsa.pub两个文件

ssh-keyagent -t

当出现这两个文件之后，再在终端执行如下代码（该代码用于ssh免登录设置）:

cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

3.验证ssh

在terminal中输入

ssh localhost

出现下面提示说明成功

安装Hadoop

我是通过下载安装的，也可以用brew install安装，在官网下载安装包后解压，之后将文件夹移到相应路径，我移到了/usr/local/Cellar/hadoop路径

进入/hadoop/etc/hadoop路径，执行一下操作：

hadoop-env.sh
加入配置信息：

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_111.jdk/Contents/Home

注意按照你自己的jdk版本更改。

core-site.xml

<configuration>
    
    <!-- 指定HDFS老大（namenode）的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://0.0.0.0:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/Library/hadoop-2.7.3/temp</value>
    </property>

</configuration>

hadfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
　　 <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/Library/hadoop-2.7.3/tmp/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/Library/hadoop-2.7.3/tmp/hdfs/data</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.http.address</name>
        <value>0.0.0.0:50070</value>
    </property>
</configuration>

mapred-site.xml

<property>  
        <name>mapreduce.framework.name</name>  
        <value>yarn</value>  
    </property>  
    <property>  
        <name>mapreduce.admin.user.env</name>  
        <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>  
    </property>  
    <property>  
        <name>yarn.app.mapreduce.am.env</name>  
        <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>  
</property>  

yarn-site.xml

<property>  
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value>  
</property>  

配置Hadoop环境

sudo vim /etc/profile

添加：

export HADOOP_HOME=/usr/local/Cellar/hadoop  
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

保存退出，执行：

source /etc/profile

运行Hadoop

//进入hadoop安装目录
cd $HADOOP_HOME
//初始化namenode
hdfs namenode -format
//启动hdfs
sbin/start-dfs.sh 
//启动yarn
sbin/start-yarn.sh

如果都执行成功，说明Hadoop已经安装好了

安装Scala

我是通过brew直接安装的，一步搞定

brew install scala

配置环境：

sudo vim /etc/profile

添加：

export SCALA_HOME=/usr/local/Cellar/scala/2.12.2
export PATH=$PATH:$SCALA_HOME/bin

注意Scala版本，改一下

安装spark

终于到这一步了，在官网上下载之后解压，移动，我移动的路径为：/usr/local/spark
配置环境：

sudo vim /etc/profile

添加：

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin

进入conf 文件夹下将 spark-env.sh.template 改名为 spark-env.sh并修改

之后修改slaves.template,

之后进入sbin路径，执行：

./start-all.sh

再执行：

至此，spark已经安装成功了，可以通过查看 http://localhost:8080/