SpaceX1.0基础搭建[一]、macSO(M1)部署apache-hadoop3.1.0

一、 下载hadoop安装包

下载地址: https://dlcdn.apache.org/hadoop/common/

二、hadoop配置文件修改

1、修改etc/hadoop/core-site.xml文件

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!--配置Hadoop的临时目录，默认/tem/hadoop-${user.name}，tmp手动新建-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>安装包解压目录/hadoop-3.1.0/tmp</value>
    </property>
    <!-- root 用户免密访问hdfs -->
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>
</configuration>

2、 etc/hadoop/hdfs-site.xml

<!-- hdfs 存储副本、由于是测试、就只设置一个副本节约资源 -->
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3、 etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4、etc/hadoop/yarn-site.xml

<configuration>
   <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>

   // 输入 hadoop classpath 获取Hadoop的classpath 
   <property>
       <name>yarn.application.classpath</name>
       <value>hadoop classpath</value>
   </property>

</configuration>

5、etc/hadoop/hadoop-env.sh

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home

三、mac配置无密码登陆

ssh localhost
ssh-keygen -t -rsa -P '' -f ~/.ssh/id_rsa （如果已经生成密钥，则直接下一笔）
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 ** mac需要设置
 打开系统偏好，在右上角搜索框中键入“互联网共享”或者“Internet sharing”。在打开的页面中，勾选中左边的“远程登录”或者“Remote Login”即可

四、启动hadoop（yarn）

sbin/./start-all.sh

5、测试安装是否成功

hdfs webui: http://localhost:9870/
yarn webui: http://localhost:8088/