CentOS6.5基于Ambari搭建Hadoop开发环境

准备环境

部署好的Ambari-server
安装完成的MariaDB等等

准备环境的过程详见我上一篇博客的链接

搭建过程

(1)登陆进入Ambari初始页面
(右键翻译会将整个页面翻译成中文，但是某些专有名词会被翻译得很怪hhh)

(2)单击按钮Launch Install Wizard，开始搭建集群
输入集群名称，点击下一步(我这里的集群名称是myCluster)

(3)部署HDP
①选择HDP2.4再点击Advanced Repository Options
[注]如果当初创建本地源的时候下载的是HDP其他版本，则选择相应版本

②由于虚拟机的系统是CentOS6.5，所以选择redhat6
后面的地址修改为搭建好的本地源地址

(4)配置ssh
将上方文本框填入搭建涉及的主机
在ambari-server运行的节点上执行以下指令

cat ~/.ssh/id_rsa

将密钥拷贝到文本框中点击下一步


在虚拟机上更新一下openssl版本(否则下一步可能出错失败)
(如果出现出错失败的情况，更新openssl版本再重试即可)

yum install openssl

等待一段时间

成功，但是有warning提示。我们点击这个提示查看warning内容。

① 禁用 Transparent Huge Pages

# cat /sys/kernel/mm/transparent_hugepage/enabled 
[always] madvise never 
# echo never > /sys/kernel/mm/transparent_hugepage/enabled 
# echo never > /sys/kernel/mm/transparent_hugepage/defrag 
# cat /sys/kernel/mm/transparent_hugepage/enabled 
always madvise [never] 

重启后失效，需要再次执行。
②ntpd服务没开

那么就配置一下ntp： 配置教程
至此，warning全部搞好

点击下一步

(5)选择需要安装的服务。本例安装 HDFS、YARN+MapReduce2、Zookeeper、Tez、Pig、Hive、Mahout、Sqoop等服务。然后点击下一步。

注：这里若是选择了网页翻译成中文，就很好玩了hhh感兴趣的话可以试试

然后我们发现出现了如下提示。意思是让把Ambari Mertics勾上。那就勾上吧。

（6）部署（为了省事，我选默认的。直接下一步）


(7)分配客户机和服务器（使用默认配置）

(8)Service的配置
（这里配置了一下Hive的数据库密码）

配置了一下HDFS的DataNode大小（因为建议小于0.957个G）
我这里设置成了512MB,点击下一步
报了一个提示。翻译之后显示如下

于是，在Hive-Settings里将TezContainerSize改成682MB

剩下那个不管了，直接下一步，等着

如果报错，参考问题集