搭建 cdh5.16.1 的步骤

搭建 cdh5.16.1 的步骤

1.设置 hosts 文件

/etc/hosts

#example
172.16.28.110 CDH04
172.16.28.111 CDH03
172.16.28.112 CDH02

2.关闭所有节点的防火墙及清空规则

#查看防火墙状态
#systemctl status firewalld 

systemctl stop firewalld
systemctl disable firewalld
iptables -F

3.关闭所有节点的 selinux

#查看 selinux 状态
#sestatus 
vi /etc/selinux/config 
#将 SELINUX=enforcing 改为 SELINUX=disabled 设置后需要重启才能⽣生效

4.设置所有节点的时区一致及时钟同步 #所有节点安装 ntp

[root@cdh02 ~]# yum install -y ntp #开启 ntpd 及查看状态
[root@cdh02 ~]# systemctl start ntpd
[root@cdh02 ~]# systemctl status ntpd #同步时区
timedatectl set-timezone Asia/Shanghai

#所有机器同步到cdh02节点的时间
通过定时脚本crontab -e 同步其他机器的时间
00 00 * * * /usr/sbin/ntpdate cdh02

5.cdh02 节点部署 mysql jdbc jar

mkdir -p /usr/share/java/
cp mysql-connector-java.jar /usr/share/java/

6.所有节点创建目录及解压

mkdir /opt/cloudera-manager
tar -zxvf cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz -C /opt/cloudera-manager/

7.修改配置文件

7.1.所有节点修改 agent 的配置,指向 server 的节点 hadoop001

sed -i "s/server_host=localhost/server_host=cdh02/g" /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-agent/config.ini

# 7.2.主节点修改server的配置:
vi /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=cdh02
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=cmf
com.cloudera.cmf.db.password=123456
com.cloudera.cmf.db.setupType=EXTERNAL

# 7.3.所有节点创建用户
useradd --system --home=/opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-server/ --no-
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: aarch64是一种基于ARM架构的64位处理器架构,它提供了更高的性能和更低的功耗,因此越来越多的厂商和用户选择使用aarch64平台搭建大数据处理和存储的基础设施。 CDH(Cloudera Distribution for Hadoop)是一种基于Hadoop生态系统的大数据处理平台,它提供了包括Hadoop、Spark、Hive、HBase等多个组件,用于处理海量的结构化和非结构化数据。 搭建aarch64架构的CDH平台需要以下步骤: 1. 硬件选择:选择适合aarch64架构的服务器和存储设备,例如市场上的aarch64服务器,确保硬件支持aarch64系统。 2. 操作系统选择:选择支持aarch64架构的操作系统,如CentOS、Ubuntu等Linux发行版。可以从官方网站下载aarch64架构适用的操作系统镜像。 3. 安装JDK:在aarch64架构的服务器上安装适合的JDK(Java Development Kit),例如OpenJDK。可以通过包管理器或手动下载安装。 4. 下载CDH:从Cloudera官方网站下载适用于aarch64架构的CDH安装包,可以选择全套的CDH发行版或根据需求选择部分组件。 5. 解压安装包:将下载的CDH安装包解压到指定的目录,并设置环境变量,以便在任何位置都可以运行CDH命令和脚本。 6. 配置CDH:根据实际需求,修改CDH的配置文件,如hadoop-env.sh、hdfs-site.xml等,配置相关的参数,如内存分配、数据存储路径等。 7. 启动CDH:使用CDH提供的启动脚本,启动Hadoop、Spark等各个组件,确保它们能够正常运行并相互通信。 8. 测试CDH:使用各个组件提供的命令和接口,对CDH平台进行功能和性能测试,确保其稳定性和可用性。 总结起来,搭建aarch64架构的CDH平台需要选择适合的硬件、操作系统和JDK,下载CDH安装包并解压配置,最后启动各个组件并进行测试。这样可以搭建一个适用于aarch64架构的分布式大数据处理平台,满足海量数据处理和存储的需求。 ### 回答2: AARCH64指的是一种64位的ARM处理器架构。搭建CDH(Cloudera Distribution including Apache Hadoop)主要是指在AARCH64处理器架构上建立CDH集群。 首先,需要在AARCH64处理器架构的机器上安装操作系统,如CentOS或Ubuntu。确保操作系统版本和内核支持AARCH64架构。 接下来,下载CDH软件包并解压。CDH由多个组件组成,包括Hadoop、Hive、HBase、Spark等。根据实际需要选择下载相应的组件。 在CDH集群中,至少需要一个主节点和多个工作节点。主节点负责协调集群中的各个组件,而工作节点执行实际的计算任务。 配置CDH集群的主节点,需要编辑相应的配置文件,如hdfs-site.xml、core-site.xml和mapred-site.xml。其中,hdfs-site.xml用于配置分布式文件系统(HDFS),core-site.xml用于配置Hadoop的核心设置,mapred-site.xml用于配置MapReduce任务的参数。 配置工作节点的操作类似,也需要编辑相应的配置文件。 安装CDH集群的各个组件(如HDFS、Hive和HBase)需要按照官方文档的指引进行。 一般来说,在AARCH64架构上搭建CDH集群和在x86架构上搭建CDH集群的步骤是类似的,只是需要下载和配置适用于AARCH64架构的软件包。 最后,启动CDH集群并进行测试。可以使用hadoop fs命令测试HDFS是否正常工作,使用Hive或HBase进行数据查询操作。 总之,搭建AARCH64上的CDH集群需要安装适用于AARCH64架构的操作系统和软件包,并进行相应的配置和安装操作。完成后,即可在AARCH64架构上运行CDH集群,并进行大数据处理任务。 ### 回答3: aarch64是一种基于ARM架构的64位处理器,而CDH是Cloudera发行的Hadoop生态系统的一个版本。搭建CDH集群需要以下步骤: 1. 硬件建议: 在搭建CDH之前,需要确保有足够的硬件资源。对于aarch64架构,建议至少配置2个以上的物理机器,每个机器至少拥有16个CPU核心、64GB内存和1TB的存储空间。此外,确保机器之间有高速网络连接。 2. 操作系统选择: 选择一个支持aarch64架构的操作系统作为基础。常用的操作系统有CentOS/RHEL、Ubuntu等,需要确保操作系统版本兼容aarch64架构。 3. 安装Java: CDH需要Java环境来运行,因此需要安装适用于aarch64架构的Java JDK。可以通过官方网站下载适用于aarch64的Java JDK,并按照指引进行安装。 4. 下载和安装CDH: 在Cloudera官方网站上下载适用于aarch64架构的CDH版本。解压下载的文件,并按照官方文档中的指引进行安装。安装过程中需要指定CDH集群的配置参数,如Master节点的IP地址、HDFS存储路径等。 5. 配置CDH集群: 安装完CDH后,需要通过配置文件进行基本的集群配置。配置文件主要包括hadoop-env.sh、hdfs-site.xml、core-site.xml等。具体的配置参数取决于集群规模和需求,按照官方文档配置相关参数。 6. 启动CDH服务: 完成集群配置后,可以启动CDH服务。使用start-all.sh命令来启动所有CDH组件,包括HDFS、YARN、Hive等。在启动之前,需要确保所有机器上的服务都已正常配置并启动。 7. 验证CDH集群: 启动CDH服务后,可以通过浏览器访问Cloudera管理界面,验证CDH集群是否正常运行。在管理界面中,可以查看各个组件的运行状态、监控集群性能、运行MapReduce任务等。 通过以上步骤,可以在aarch64架构的硬件上搭建CDH集群,并利用该集群进行大数据处理和分析。需要注意的是,由于aarch64架构的特殊性,部分CDH组件可能需要对源代码进行编译或适配才能在该架构上正常运行。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值