mac安装Hadoop3

今天首次在mac上面首次安装了hadoop，如下：

转自：https://blog.csdn.net/fox64194167/article/details/80617527

brew安装也可以，但是个人感觉还是自己去hadoop官网上下载hadoop相关包，地址：https://hadoop.apache.org/releases.html

3.1.1：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz

官网上下载的配置文件在hadoop-3.1.1/etc/etc/hadoop/下

还有就是一定要注意ssh，要是中文界面的是在 系统偏好设置->共享

还有就是在启动 NameNode 和 DataNode和启动 ResourceManager 和 NodeManager后可以通过jps查看是否正常启动

在控制台上执行export HADOOP_ROOT_LOGGER=DEBUG,console，启动hdfs等时可以输出日志，这只是暂时性质的

2.x和3.x查看dfs页面不同：
2.x：http://localhost:50070
3.x：http://localhost:9870

 

 

1.安装java
略

2. SSH
首先在系统里打开远程登录，位置在 System Preference -> Sharing 中，左边勾选 Remote Login，右边选择 All Users。

1. ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3. chmod 0600 ~/.ssh/authorized_keys

ssh localhost用来测试

3. 安装hadoop
brew install hadoop
4. 配置

/usr/local/Cellar/hadoop/3.1.0/libexec/etc/hadoop  主要都在这个目录下

a) hadoop-env.sh

输入以下代码看看你把 Java 装到哪里了：

 /usr/libexec/java_home

你会看到类似酱紫结果：

/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home

打开 hadoop-env.sh 文件（位置 etc/hadoop/），找到 # export JAVA_HOME=，改参数如下：

export JAVA_HOME={your java home directory}

把 {your java home directory} 改成你上面查到的 Java 路径，记得去掉注释 #。

比如

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home

b) core-site.xml

打开 core-site.xml 文件（位置 etc/hadoop/），改参数如下：

1. <configuration>

2.  <property>

3.  <name>fs.defaultFS</name>

4.  <value>hdfs://localhost:9000</value>

5.  </property>

6. </configuration>

c) hdfs-site.xml

打开 hdfs-site.xml 文件（位置 etc/hadoop/），改参数如下：

1. <configuration>

2.  <property>

3.  <name>dfs.replication</name>

4.  <value>1</value>

5.  </property>

6. </configuration>

d) mapred-site.xml

打开 mapred-site.xml 文件（位置 etc/hadoop/），改参数如下：

1. <configuration>

2.  <property>

3.  <name>mapreduce.framework.name</name>

4.  <value>yarn</value>

5.  </property>

6. </configuration>

如果文件后缀是 .xml.example，改为 .xml。
e) yarn-site.xml

打开 yarn-site.xml 文件（位置 etc/hadoop/），改参数如下：

1. <configuration> 

2. <property> 

3. <name>yarn.nodemanager.aux-services</name> 

4. <value>mapreduce_shuffle</value> 

5. </property> 

6. <property> 

7. <name>yarn.nodemanager.env-whitelist</name>

8.  <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> 

9. </property> 

10. </configuration>

5.运行
格式化文件系统：

bin/hdfs namenode -format

启动 NameNode 和 DataNode：

sbin/start-dfs.sh

现在你应该可以在浏览器中打开下面的链接看到亲切的 Overview 界面了：

NameNode - http://localhost:9870

让 HDFS 可以被用来执行 MapReduce jobs：

1. bin/hdfs dfs -mkdir /user

2. bin/hdfs dfs -mkdir /user/<username>

把 <username> 改成你的用户名，记得去掉 <> 。
启动 ResourceManager 和 NodeManager：

sbin/start-yarn.sh

现在你应该可以在浏览器中打开下面的链接看到亲切的 All Applications 界面了：

ResourceManager - http://localhost:8088

截图如下：