Cloudera CDH5 Hadoop集群的搭建

最新推荐文章于 2024-06-12 18:02:46 发布

bjzhouxiangchao

最新推荐文章于 2024-06-12 18:02:46 发布

阅读量2.2k

点赞数

分类专栏：大数据基础平台搭建文章标签： hadoop集群 cloudera zookeeper

本文链接：https://blog.csdn.net/bjzhouxiangchao/article/details/41542469

版权

本文档详述了在CentOS 6.5上搭建Cloudera CDH5 Hadoop集群的过程，包括环境配置、主机规划、创建hadoop用户、配置hosts、关闭防火墙、时钟同步、安装mysql、权限配置、CM安装及集群配置等关键步骤。集群包含5个节点，分别部署了不同的组件，如NameNode、DataNode、Zookeeper等。

摘要由CSDN通过智能技术生成

环境

CentOS 6.5 x86_64
CDH 5.2.0
jdk1.7

集群规划为5个节点，每个节点的ip、主机名和部署的组件分配如下：

192.168.20.191 cm191.hadoop.d3dstore.com 元数据库,CM

192.168.20.192 nn192.hadoop.d3dstore.com NameNode、ResourceManger、JobHistoryService

192.168.20.193 dn193.hadoop.d3dstore.com DataNode、NodeManager、Zookeeper、Hive、Sqoop、Flume、Hbase

192.168.20.194 dn194.hadoop.d3dstore.com DataNode、NodeManager

192.168.20.195 dn195.hadoop.d3dstore.com DataNode、NodeManager 、Zookeeper、SecondryNameNode、Flume、Impala

创建1个hadoop用户，并给用户设置无密码sudo权限：
1：adduser hadoop
2：passwd hadoop
3：chmod u+w /etc/sudoers
4：vi /etc/sudoers
增加： hadoop ALL=(root) NOPASSWD:ALL
5：chmod u-w /etc/sudoers