前言
之前有安装过Hadoop,最近想学学spark,因为spark需要和Hadoop版本统一,索性就卸了Hadoop重新装,折腾了几个小时终于都弄好了,现在把安装步骤整理出来。
系统/环境
Mac os
已经安装的软件:python3.6、jdk1.8.0_121
ssh设置
1.开启Mac系统的远程登陆
系统偏好设置——共享——远程,如下图设置:
2.在terminal中输入下面语句,然后一直回车。当执行完这条指令之后你可以在前往到~/.ssh目录下发现id_rsa、id_rsa.pub两个文件
ssh-keyagent -t
当出现这两个文件之后,再在终端执行如下代码(该代码用于ssh免登录设置):
cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys
3.验证ssh
在terminal中输入
ssh localhost
出现下面提示说明成功
安装Hadoop
我是通过下载安装的,也可以用brew install安装,在官网下载安装包后解压,之后将文件夹移到相应路径,我移到了/usr/local/Cellar/hadoop路径
进入/hadoop/etc/hadoop路径,执行一下操作:
hadoop-env.sh
加入配置信息:
加入配置信息:
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_111.jdk/Contents/Home
注意按照你自己的jdk版本更改。
core-site.xml
<configuration>
<!-- 指定HDFS老大(namenode)的通信地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://0.0.0.0:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/Library/hadoop-2.7.3/temp</value>
</property>
</configuration>
hadfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/Library/hadoop-2.7.3/tmp/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/Library/hadoop-2.7.3/tmp/hdfs/data</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.http.address</name>
<value>0.0.0.0:50070</value>
</property>
</configuration>
mapred-site.xml<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.admin.user.env</name>
<value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>
</property>
yarn-site.xml<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
配置Hadoop环境sudo vim /etc/profile
添加:
export HADOOP_HOME=/usr/local/Cellar/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
保存退出,执行:
source /etc/profile
运行Hadoop//进入hadoop安装目录
cd $HADOOP_HOME
//初始化namenode
hdfs namenode -format
//启动hdfs
sbin/start-dfs.sh
//启动yarn
sbin/start-yarn.sh
如果都执行成功,说明Hadoop已经安装好了
安装Scala
我是通过brew直接安装的,一步搞定brew install scala
配置环境:
sudo vim /etc/profile
添加:
export SCALA_HOME=/usr/local/Cellar/scala/2.12.2
export PATH=$PATH:$SCALA_HOME/bin
注意Scala版本,改一下
安装spark
终于到这一步了,在官网上下载之后解压,移动,我移动的路径为:/usr/local/spark配置环境:
sudo vim /etc/profile
添加:
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
进入conf 文件夹下将 spark-env.sh.template 改名为 spark-env.sh并修改
之后修改slaves.template,
之后进入sbin路径,执行:
./start-all.sh
再执行: