记一次mac安装Hadoop经历

文章来自小白中的小白：白中白

参考https://www.jianshu.com/p/935b4c5e4c25

首先，自己已经有了JDK，也配置成功了。终端打开

vi ~/.bash_profile 

“i”开始插入。自己已经配置好了JAVA_HOME ，esc，:wq

export CLASSPATH=.:$JAVA_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/:$PATH
export HADOOP_HOME=/usr/local/hadoop/hadoop-3.2.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

export  HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

之后 source 该文件

---

“Hadoop 需要通过SSH来启动salve列表中各台主机的守护进程，即便是安装伪分布式版本，SSH也是必须的。对于伪分布式，Hadoop会采用与集群相同的处理方式，即依次序启动文件conf/salves中记载的主机上的进程，只不过伪分布式中salve为localhost.”

接下来在mac系统偏好设置 共享中开启SSH 

 

---

免密码登录设置： 

ssh-keygen -t rsa

将生成的共钥文件id_rsa.pub和私钥文件id_rsa复制到相同目录下的authorized_keys文件中，并验证是否成功。

出现 Last login: Thu Sep 12 22:50:49 2019

---

网上找到Hadoop的下载链接http://ftp.riken.jp/net/apache/hadoop/common/

我选择了3.2.0.tar.gz 进行下载 （PS：下载的好慢啊

---

修改conf/Hadoop-env.sh

修改conf/core-site.xml

<configuration>

<property>

    <name>hadoop.tmp.dir</name>

    <value>file:/Downloads/hadoop-3.2.0/tmp</value>

        <description>Abase for other temporary directories.</description>

</property>

<property>

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:8020</value>

</property>

</configuration>

 

<configuration>

<property>

    <name>dfs.replication</name>

    <value>1</value>

</property>

 

<property>

    <name>dfs.namenode.name.dir</name>

    <value>file:/Downloads/hadoop-3.2.0/tmp/dfs/name</value>

</property>

<property>

    <name>dfs.datanode.data.dir</name>

    <value>file:/Downloads/hadoop-3.2.0/tmp/dfs/data</value>

</property>

</configuration>

 

<configuration>

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

</configuration>

 

<property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

</property>

<property>

        <name>yarn.nodemanager.env-whitelist</name>

        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLA

SSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME.HADOOP_MAPRED_HOME</value>

</property>

 

最后因为某些原因持续报错，觉得是自己的安装方式混乱了，所以才会这样。打算换一种方式。见下下篇