HDP集群搭建

上一篇:Ambari集群搭建_LSur_king的博客

【搭建 HDP集群】

1. 浏览器访问192.168.1.100:8080,进入ambari集群界面,用户名和密码admin/admin,开始初始化安装。

2. 创建集群POLYV_HDP,选择3.1版本的HDP集群进行安装,使用本地仓库,把其他操作系统Remove掉。

填入本地文件服务器的URL:

http://vm01/HDP/centos7/3.1.5.0-152/

http://vm01/HDP-GPL/centos7/3.1.5.0-152/

http://vm01/HDP-UTILS/centos7/1.1.0.22/

3. 点击Next,进入下一步。需要填写所有的ambari-agent节点的主机列表,并且将ambari-server所在主机执行cat ~/.ssh/id_rsa

获取ssh密钥,复制id_rsa的内容如下填入。

4. 点击下一步后,会弹出一个“Warning:The following hostnames are not valid FQDNs”,无需理会,继续点击下一步。进入到以下界面:

如果出现上述情况的,有节点联通状态检测失败,可以点击Status下的【Failed】可显示日志,发现是vm01到本机的SSH没有做免密登录。vm01控制台执行,ssh-copy-id -i ~/.ssh/id_rsa.pub root@vm01

解决问题后,点击左上角的【Retry】刷新重试,即可使所有agent节点处于成功的连通状态。

5. 选择要在集群安装的大数据组件或服务(这里还不需要根据角色分配不同的机器)

勾选HDFS、YARN+MapReduce2、HBase、ZooKeeper、Ambari Metrics、Kafka。

组件

版本

HDFS

3.1.1.1.1

YARN+MapReduce2

3.1.1

HBase

2.0.2

ZooKeeper

3.4.6

Ambari Metrics

0.2.0

Kafka

2.0.0

Hive2.x 后续独立部署

Spark2.3.0(需要依赖Hive,所以得独立部署)

后续独立部署

点击下一步,中间会弹出几个警告,忽略,点击右边框框继续。

6. 进入到分配Master角色的界面,改动项如下图所示,其余按默认配置。

7. 进入分配工作节点和客户端部署的界面,如下选择:

8. 点击下一步,设置Grafana和Activity Explorer's Admin的用户名/密码,均为admin/admin

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HDP 集群中添加节点硬盘有以下步骤: 1. 准备硬件:购买新的硬盘,并将其插入到新节点中。 2. 在新节点上安装操作系统和 HDP 软件。可以使用 Ambari 进行自动化安装,或通过手动方式安装。 3. 将新硬盘格式化为 ext4 文件系统。可以使用以下命令在终端上完成此操作: ``` sudo mkfs.ext4 /dev/sdX ``` 其中,`/dev/sdX` 是新硬盘的设备名称。 4. 挂载新硬盘到 HDFS。可以使用以下命令在终端上完成此操作: ``` sudo mount /dev/sdX /mnt/newdrive ``` 其中,`/dev/sdX` 是新硬盘的设备名称,`/mnt/newdrive` 是一个新的目录,用于挂载新硬盘。 5. 在 HDFS 中创建一个新的数据目录。可以使用以下命令在终端上完成此操作: ``` sudo -u hdfs hdfs dfs -mkdir /newdirectory sudo -u hdfs hdfs dfs -chown -R hdfs:hdfs /newdirectory sudo -u hdfs hdfs dfs -chmod -R 755 /newdirectory ``` 其中,`/newdirectory` 是新的数据目录。 6. 将新的数据目录添加到 HDFS 的配置文件中。可以使用以下命令在终端上完成此操作: ``` sudo vi /etc/hadoop/conf/hdfs-site.xml ``` 在该文件中添加以下配置: ```xml <property> <name>dfs.datanode.data.dir</name> <value>/mnt/newdrive/hdfs/data,/newdirectory</value> <final>true</final> </property> ``` 其中,`/mnt/newdrive/hdfs/data` 是默认的数据目录,`/newdirectory` 是新添加的数据目录。 7. 重启 HDFS 服务,使新配置生效。可以使用以下命令在终端上完成此操作: ``` sudo service hadoop-hdfs-datanode restart ``` 完成以上步骤后,新硬盘就已经成功加入到 HDFS 中了。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值