MAC上的CDH5.7.1安装手把手教程

Po主电脑系统：macOS Catalina

写这个教程的目的是帮助大家避免跳坑，在前一个博主已经很详细的博文基础上，根据自己踩的坑再写的更仔细一点。希望能帮到大家。

提示：最后如果HDFS，Yarn Schedule，NodeManager和HBase四个网页能够成功出现的话就代表全部启动成功。

现在开始了。准备好喔。

参考来源：https://www.jianshu.com/p/61137cf00c68 + 自己的坑

1. 安装JDK1.8

一定要安装1.8版本，我自己的电脑是JDK14.0，最后在HBase的启动过程中提示14.0中已经移除了某些功能，不能成功启动HBase。
错误提示如图：

2. 本地ssh登录

左上角苹果标志 --> 系统偏好设置 System Preference --> 分享 Sharing

打开终端terminal
输入：

ssh-keygen -t rsa -P ""

会问你 (y/n)? 直接在后面输入 y 即可。如下一步之后的结果图（这里我已经输入过一次了，所以提示的是 overwrite(y/n) ? 和第一次输入的提示是不一样的，但是朋友们输入y就可以了。）据说有的电脑会让你输入密码。
程序停止执行之后再输入：

ssh localhost

结果如下图（包括上面的 (y/n)? 也在里面）。

至此，ssh结束。此步骤为生成、管理和转换认证密钥。

3. 下载CDH需要的压缩包。

博主安装的5.7.1版本，已经上传了包括JDK1.8内的所有包，如果不想在博主的资源里找包下，可以上网站：CDH下载地址
然后在网站链接url后面加上如下几个尾缀，就可以直接下载相应的压缩包。

hadoop-2.6.0-cdh5.7.1.tar.gz
hbase-1.2.0-cdh5.7.1.tar.gz
hive-1.1.0-cdh5.7.1.tar.gz
zookeeper-3.4.5-cdh5.7.1.tar.gz

压缩包下载完成之后的文件名也和如上四行一样。

4. 开始CDH安装

1）创建所需文件夹
下载压缩包的期间，朋友们就可以开始创建文件夹了。
打开终端terminal，输入：

mkdir -p ~/cloudera/lib ~/cloudera/cdh5.7 ~/cloudera/ops/dn ~/cloudera/ops/logs/hadoop ~/cloudera/ops/logs/hbase ~/cloudera/ops/logs/yarn ~/cloudera/nn ~/cloudera/pids ~/cloudera/tmp ~/cloudera/zk

这一步的作用是在用户根目录下新建cloudera需要的所有文件夹。
效果如下图：

根目录下：（command+G 出现搜索框之后输入 ~/ 就可以到达）


2）解压缩各个文件并且送去对应位置
将下载好的除JDK1.8安装文件之外的4个压缩文件转移到 cloudera/lib文件夹下，在终端中依次执行下面4行指令，分别解压缩四个文件夹：

tar -xvf hadoop-2.6.0-cdh5.7.1.tar.gz
tar -xvf hbase-1.2.0-cdh5.7.1.tar.gz
tar -xvf hive-1.1.0-cdh5.7.1.tar.gz
tar -xvf zookeeper-3.4.5-cdh5.7.1.tar.gz

效果如图：

现在我们需要在 cloudera/cdh5.7 文件夹中创建以上4个已经解压缩完成的文件夹的快捷方式。
终端输入如下代码进如目标文件夹cd5.7：

cd ~/cloudera/cdh5.7

再依次输入并执行（输入一次，回车一次，执行一次）：

ln -s ~/cloudera/lib/hadoop-2.6.0-cdh5.7.1 hadoop
ln -s ~/cloudera/lib/hbase-1.2.0-cdh5.7.1 hbase
ln -s ~/cloudera/lib/hive-1.1.0-cdh5.7.1 hive
ln -s ~/cloudera/lib/zookeeper-3.4.5-cdh5.7.1 zookeeper

效果如下图：

3）编写配置文件
打开mac的配置文件 .bash_profile 并写入想要的内容
终端输入如下程序

vi ~/.bash_profile

效果图如下,这里我已经写好了内容了，朋友也可以看一下写完的效果。

键盘敲击 i ，回车， 此时进入vim的编辑模式，操作没有word方便但是什么都能写，在当前文件最后复制粘贴写上如下的内容。

# CDH installation
CDH="cdh5.7"
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_251.jdk/Contents/Home
export HADOOP_HOME=/Users/rachel/cloudera/${CDH}/hadoop
export HBASE_HOME=/Users/rachel/cloudera/${CDH}/hbase
export HIVE_HOME=/Users/rachel/cloudera/${CDH}/hive
export HCAT_HOME=/Users/rachel/cloudera/${CDH}/hive/hcatalog
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:${HCAT_HOME}/bin:${PATH}
# CDH installation END

代码块里的 rachel 是我的用户名，在一开始的文件夹创建效果图上方可以看到。所以各位朋友要把 rachel 改为你自己电脑的用户名。进入根目录就可以看到你用户的名字。

4）修改下载的部分文件内容
各位朋友记得依次打开以下各个文件并替换为github相应文件中的内容。
特别注意：一定要把文件中所有的jordanh替换为你的用户名！因为jordanh是原作者的用户名，如果不换程序识别不了你的电脑的！
推荐下载VS code之后用VS code打开各个文件去复制粘贴修改，不推荐vim，太麻烦了，而且很不方便。

需要修改的文件如下：

/Users/rachel/cloudera/cdh5.7/hadoop/etc/hadoop/core-site.xml
/Users/rachel/cloudera/cdh5.7/hadoop/etc/hadoop/hdfs-site.xml
/Users/rachel/cloudera/cdh5.7/hadoop/etc/hadoop/yarn-site.xml
/Users/rachel/cloudera/cdh5.7/hadoop/Users/rachel/cloudera/cdh5.7/hadoopvi /Users/rachel/cloudera/cdh5.7/hadoop/etc/hadoop/hadoop-env.sh
/Users/rachel/cloudera/cdh5.7/hbase/conf/hbase-site.xml
/Users/rachel/cloudera/cdh5.7/hbase/conf/hbase-env.sh

相对应的github文件如下（上下顺序一致）：

core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml.template
hadoop-site.xml
hbase-site.xml
hbase-env.sh

另外再注意：hbash.sh中一定要显式声明 JAVA_HOME ，不然在最后启动HBase的时候回出现找不到 JAVA_HOME 的错误。错误如下：

显式声明过程如下：
找到最后需要修改的文件 hbash-env.sh (路径在上面写过了)，将如下一行取消注释并且写上 ~/.bash_profile 中写过的 JAVA_HOME 路径

如果完成如上各个步骤，没有出错的话，基本就好了。

5）修改hadoop-config.sh
终端中输入

hdfs namenode -format

然后打开 VS code ，在如下目录中找到文件，打开，修改部分内容。

/Users/rachel/cloudera/cdh5.7/hadoopE/libexec/hadoop-config.sh

这个时候又是一个通过vim编辑器编辑文件的事儿。
我们需要去掉两对括号。
括号去掉前：
括号去掉后：

保存文件。

5.启动CDH

在终端中进入cdh5.7文件夹，依次输入并执行如下四行代码

start-dfs.sh
start-yarn.sh
start-hbase.sh
mr-jobhistory-daemon.sh start historyserver

如果没有报错并且可以全部打开下面四个网页就表示安装成功了
HDFS
Yarn Scheduler
Yarn NodeManager
HBase

启动后，可以停止命令，还是在终端中操作。下面两个代码块执行一个就可以了，第一种方法只需要一行代码，第二种方法需要依次执行三行代码。

stop-all.sh

sh $HADOOP_HOME/sbin/stop-dfs.sh
sh $HADOOP_HOME/sbin/stop-yarn.sh
sh $HBASE_HOME/bin/stop-hbase.sh

完结撒花，祝朋友们安装顺利。