MAC系统安装Hadoop

一、设置免密登录

1、系统偏好设置 ----- 共享 ---- 勾选远程登录，所有用户

2、打开终端，输入命令 ssh-keygen -t rsa，一直回车即可

2.查看生成的公钥和私钥

       cd ~/.ssh
       ls

会看到~/.ssh目录下有两个文件：
①私钥：id_rsa
②公钥：id_rsa.pub

3.将公钥内容写入到~/.ssh/authorized_keys中

       cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

4.测试
在terminal终端输入  ssh localhost

如果出现以下询问输入yes，不需要输入密码就能登录，说明配置成功

Are you sure you want to continue connecting (yes/no/[fingerprint])? yes

二、安装Hadoop

1.使用Homebrew安装Hadoop
没有安装Homebrew先安装在终端执行

/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"

 点击回车，输入开机密码即可安装，此过程比较慢，请耐心等待，下载源按需自选。

2.输入brew -v测试一下安装是否成功

3.安装Hadoop

① 使用brew命令安装（这里没有指定版本，安装的是最新版的hadoop）：

brew install hadoop

 

 红框为你本地hadoop的路径，后续配置的路径都要替换为这个路径

② 查看是否安装成功，可以看到自己的版本号：

hadoop  version

三、配置hadoop

进入hadoop的目录：

cd /usr/local/Cellar/hadoop/3.3.3/libexec/etc/hadoop

ls

修改配置文件

vim  core-site.xml

进入文件后加入：

<configuration>
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:8020</value>
  </property>
 
  <!--用来指定hadoop运行时产生文件的存放目录  自己创建-->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/Cellar/hadoop/tmp</value>
  </property>
</configuration>

 vim  hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <!--不是root用户也可以写文件到hdfs-->
        <property>
                <name>dfs.permissions</name>
                <value>false</value>    <!--关闭防火墙-->
        </property>
        <!--把路径换成本地的name坐在位置-->
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/Cellar/hadoop/tmp/dfs/name</value>
        </property>
        <!--在本地新建一个存放hadoop数据的文件夹，然后将路径在这里配置一下-->
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/Cellar/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

vim  mapred-site.xml

 <configuration>
  <property>
    <!--指定mapreduce运行在yarn上-->
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
     <name>mapred.job.tracker</name>
     <value>localhost:9010</value>
  </property>
  <!-- 新添加 -->
  <!-- 下面的路径就是你hadoop distribution directory -->
  <property>
     <name>yarn.app.mapreduce.am.env</name>
     <value>HADOOP_MAPRED_HOME=/usr/local/Cellar/hadoop/3.3.3/libexec</value>
  </property>
  <property>
     <name>mapreduce.map.env</name>
     <value>HADOOP_MAPRED_HOME=/usr/local/Cellar/hadoop/3.3.3/libexec</value>
  </property>
  <property>
     <name>mapreduce.reduce.env</name>
     <value>HADOOP_MAPRED_HOME=/usr/local/Cellar/hadoop/3.3.3/libexec</value>
</property>
 
</configuration>

vim   yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>localhost:9000</value>
    </property> 
    <property>
      <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
      <value>100</value>
    </property>
</configuration> 

四、启动Hadoop

1.启动

cd  /usr/local/Cellar/hadoop/3.3.1/libexec/sbin

./start-dfs.sh 

2.在浏览器中输入 http://localhost:9870/dfshealth.html#tab-overview  看到以下界面启动成功

如果打不开这个页面，而且又启动了，需要在hadoop下/etc/hadoop/hadoop-env.sh文件下第52行后面添加下方配置: 

cd /usr/local/Cellar/hadoop/3.3.1/libexec/etc
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

 3.停止hadoop服务

./stop-yarn.sh

4.启动yarn服务

cd /usr/local/Cellar/hadoop/3.3.1/libexec/sbin
./start-yarn.sh 

在浏览器中输入  http://localhost:8088/cluster  看到一下界面则启动成功

5.停止yarn服务

./stop-yarn.sh