Ambari搭建Hadoop集群 — — 问题总结

Cooku Black

已于 2024-10-06 15:33:58 修改

阅读量404

点赞数 10

分类专栏： Hadoop 文章标签： hadoop ambari 大数据

于 2024-10-06 15:32:30 首次发布

本文链接：https://blog.csdn.net/qq_73910510/article/details/142727624

版权

Hadoop 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

Ambari搭建Hadoop集群 — — 问题总结

一、部署教程：

参考链接：基于Ambari搭建大数据分析平台-CSDN博客

二、问题总结：

1. VMwear Workstation 查看网关

在这里插入图片描述

2. 资源分配

参考：

硬盘：master（29 GB）、slave1（29 GB）、slave2(29 GB)
内存：master（4 GB）、slave1（2 GB）、slave2（2 GB）
处理器：master（1个处理器，4个内核）、slave1（1个处理器，2个内核）、slave2（1个处理器、2个内核）

推荐配置

硬盘：master（30 GB）、slave1（25 GB）、slave2(25 GB)
内存：master（4 GB）、slave1（2 GB）、slave2（2 GB）
处理器：master（1个处理器，4个内核）、slave1（1个处理器，2个内核）、slave2（1个处理器、2个内核）

3. CentOS-7 语言问题

在这里插入图片描述

在安装 CentOS-7 时，如果选择了使用中文进行安装，那么在之后使用 Ambari 安装 Hadoop 时，在步骤 confirm hosts时会出现无限读条问题，就是每一个节点都SUCCESS但是无法进行下一步，进入无限等待状态，此时极大可能时语言的问题，需要进行额外的配置：

修改/etc/locale.conf文件：
```
vim /etc/locale.conf
```

将内容设置为：

LANG="en_US.UTF-8"

LANGUAGE="en_US:en"

4. YUM 换源

将 yum 的源换为国内的阿里源：

curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

清除 yum 缓存:
```
yum clean all
```
生成 yum 的元数据缓存:
```
yum makecache
```

5. 安装 ifconfig

CentOS-7 没有安装 ifconfig 命令的情况下，可通过以下办法进行解决：

搜索 ifconfig 关键字的软件包：
```
yum search ifconfig
```
可以查找到 ifconfig 命令在 net-tools.x86_64 包里，安装 net-tools.x86_64 包：
```
yum install net-tools.x86_64
```
使用 ifconfig 查看网卡信息，检验能否正常使用：
```
ifconfig
```

6. HDP 版本号丢失

在 ambari 部署服务的时候，第二步 Select Version 无法找到安装的 HDP版本号（HDP版本号丢失）问题：

在这里插入图片描述

此时有两种解决办法：

加载 HDP-xxx.xml 文件，我的路径为 /var/www/html/HDP/centos7/2.6.3.0-235/HDP-2.6.3.0-235.xml，将该文件通过 xftp 等软件传输到 windows 系统上，然后在将该文件添加即可。
加载 URL，根据自己的IP以及文件路径进行设置，我的路径为：http://master/HDP/centos7/2.6.3.0-235/HDP-2.6.3.0-235.xml，其中 master 为主节点的 IP，如没有配置映射，需要使用完整的 IP 来进行访问，如：http://192.168.93.131/HDP/centos7/2.6.3.0-235/HDP-2.6.3.0-235.xml，然后选择添加该URL即可。