Centos7安装CDH6文档

最新推荐文章于 2023-10-23 23:27:27 发布
最新推荐文章于 2023-10-23 23:27:27 发布
阅读量1.3k 收藏 5
点赞数 1
分类专栏： CDH6 文章标签： Cdh6
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jato333/article/details/86552070
版权

1软件需求

  1. vagrant_1.9.6_x86_64.msi
  2. VirtualBox-5.1.24-117012-Win.exe
  3. vagrant-centos-7.2.box
  4. mysql-connector-java-5.1.47.tar.gz
  5. CDH6相关软件包(cm6.0和 cdh6.0)，如下 

 

2集群规划

Ip

Hostname

Software

192.168.56.11

hbase1

Mysql、httpd、cm server

192.168.56.12

Hbase2

Cm Agent、hdfs、hbase

192.168.56.13

Hbase3

Cm Agent、hdfs、hbase

192.168.56.14

Hbase4

Cm Agent、hdfs、hbase

 

3创建虚拟机

通过vagrant+visual box创建上述4个虚拟机

连接到4个终端

4上传软件

将软件需求的软件全部上传至hbase1中

5安装CDH6

5.1 修改hosts文件

范围：hbase1/hbase2/hbase3/hbase4

命令：vi /etc/hosts

127.0.0.1  localhost

192.168.56.11 hbase1

192.168.56.12 hbase2

192.168.56.13 hbase3

192.168.56.14 hbase4

5.2 修改hostname

范围：hbase1/hbase2/hbase3/hbase4

命令：vi /etc/hostname

hbase1

5.3 SSH免密登录

5.3.1 创建私钥文件

范围：hbase1/hbase2/hbase3/hbase4

命令如下：

mkdir -p ~/.ssh

chmod 700 -R ~/.ssh

cd ~/.ssh

ssh-keygen -t rsa

5.3.2 将私钥文件拷贝至hbase1

范围：hbase2

命令：scp id_rsa.pub root@hbase1:~/.ssh/id_rsa.pub.hbase2

范围： hbase3

命令：scp id_rsa.pub root@hbase1:~/.ssh/id_rsa.pub.hbase3

范围： hbase4

命令：scp id_rsa.pub root@hbase1:~/.ssh/id_rsa.pub.hbase4

5.3.3 合并秘钥文件

范围： hbase1

命令：

cat id_rsa.pub >> authorized_keys

cat id_rsa.pub.hbase2 >> authorized_keys

cat id_rsa.pub.hbase3 >> authorized_keys

cat id_rsa.pub.hbase4 >> authorized_keys

chmod 600 ~/.ssh/authorized_keys

5.3.4 分发公钥文件

范围： hbase1

命令：

scp authorized_keys root@hbase2:~/.ssh/authorized_keys

scp authorized_keys root@hbase3:~/.ssh/authorized_keys

scp authorized_keys root@hbase4:~/.ssh/authorized_keys

5.3.5 验证ssh免密登录

范围： hbase1/hbase2/hbase3/hbase4

命令：

ssh hbase1

ssh hbase2

ssh hbase3

ssh hbase4

5.4 集群时钟同步

5.4.1 安装ntp包

范围： hbase1/hbase2/hbase3/hbase4

命令：yum install -y ntp

5.4.2 主节点配置

5.4..1修改配置文件

范围： hbase1

命令：vi /etc/ntp.conf

修改以下内容：

#server 0.rhel.pool.ntp.org iburst

#server 1.rhel.pool.ntp.org iburst

#server 2.rhel.pool.ntp.org iburst

#server 3.rhel.pool.ntp.org iburst

server  127.127.1.0     # local clock

fudge   127.127.1.0 stratum 10

 

5.4.2.2启动ntp服务

范围： hbase1

命令：

systemctl start ntpd

systemctl enable ntpd

systemctl status ntpd

5.4.2.3查看当前ntp状态

范围： hbase1

命令：ntpq –p

出现*，说明已经开始同步了。

5.4.3 从节点配置

5.4.3.1修改配置文件

范围： hbase2/hbase3/hbase4

命令：vi /etc/ntp.conf

修改以下内容：

#server 0.rhel.pool.ntp.org iburst

#server 1.rhel.pool.ntp.org iburst

#server 2.rhel.pool.ntp.org iburst

#server 3.rhel.pool.ntp.org iburst

server 192.168.56.11

 

5.4.3.2启动ntp服务

范围： hbase2/hbase3/hbase4

命令：

systemctl start ntpd

systemctl enable ntpd

systemctl status ntpd

5.4.3.3查看当前ntp状态

范围： hbase2/hbase3/hbase4

命令：ntpq –p

出现*，说明已经开始同步了，此时还未出现，请耐心等待几分钟即可，一般5分钟左右。

5.5安装JDK

5.5.1解压文件

范围： hbase1/hbase2/hbase3/hbase4

命令：tar -xvf jdk-8u181-linux-x64.tar.gz

5.5.2修改配置文件

范围： hbase1/hbase2/hbase3/hbase4

命令：vi /etc/profile

增加以下内容：

export JAVA_HOME=/opt/jdk1.8.0_181

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

5.5.3生效配置

范围： hbase1/hbase2/hbase3/hbase4

命令：source /etc/profile

5.5.4 验证jdk

范围： hbase1/hbase2/hbase3/hbase4

命令：java –version

5.6配置jdbc驱动

范围： hbase1/hbase2/hbase3/hbase4

命令：

tar -xvf mysql-connector-java-5.1.47.tar.gz

mkdir -p /usr/share/java/

mv /opt/mysql-connector-java-5.1.47/mysql-connector-java-5.1.47.jar /usr/share/java/

cd /usr/share/java

chmod 777 mysql-connector-java-5.1.47.jar

ln -s mysql-connector-java-5.1.47.jar mysql-connector-java.jar

5.7安装httpd服务

5.7.1 安装httpd包

范围： hbase1

命令：

yum -y install httpd createrepo

mv cm6.0/ cdh6.0/ /var/www/html/

cd /var/www/html/cm6.0/

createrepo ./

cd /var/www/html/cdh6.0/

createrepo ./

5.7.2测试httpd服务

5.7.3配置repo

范围： hbase1/hbase2/hbase3/hbase4

命令：vi /etc/yum.repos.d/cm.repo

增加以下内容：

[cmrepo]

name = cm_repo

baseurl = http://192.168.56.11/cm6.0

enable = true

gpgcheck = false

5.7.4查看仓库

范围： hbase1/hbase2/hbase3/hbase4

命令： yum repolist

5.8安装oracle-JDK

范围： hbase1/hbase2/hbase3/hbase4

命令：yum -y install oracle-j2sdk1.8-1.8.0+update141-1.x86_64

5.9设置swap

范围： hbase1/hbase2/hbase3/hbase4

命令： echo "vm.swappiness=10" >> /etc/sysctl.conf

5.10设置透明大页面

范围： hbase1/hbase2/hbase3/hbase4

命令：

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

5.11安装mysql

5.11.1卸载mariadb

范围： hbase1

命令：

rpm -qa|grep mariadb

rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64

5.11.2下载mysql源安装包

范围： hbase1

命令：wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm

5.11.3安装mysql源

范围： hbase1

命令：yum -y localinstall mysql57-community-release-el7-8.noarch.rpm

5.11.4安装MySQL

范围： hbase1

命令：yum -y install mysql-community-server

5.11.5启动MySQL服务

范围： hbase1

命令：systemctl start mysqld

5.11.6查看初始化密码

范围： hbase1

命令：grep 'temporary password' /var/log/mysqld.log

5.11.7设置mysql数据库

范围： hbase1

命令：

mysql -u root -p

set global validate_password_policy=0;

set global validate_password_mixed_case_count=0;

set global validate_password_number_count=3;

set global validate_password_special_char_count=0;

set global validate_password_length=3;

set password for 'root'@'localhost'=password('hive');

GRANT ALL PRIVILEGES ON *.* TO root@'%' IDENTIFIED BY 'hive' WITH GRANT OPTION;

SHOW VARIABLES LIKE 'validate_password%';

create database cm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database rman DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

FLUSH PRIVILEGES;

exit;

5.12 安装Cloudera Manager

范围： hbase1

命令：yum -y install cloudera-manager-server

5.13初始化数据库

范围： hbase1

命令：

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql cm root hive

5.14启动Cloudera Manager Server

范围： hbase1

命令：

systemctl start cloudera-scm-server

systemctl status cloudera-scm-server

5.15检查端口是否监听

范围： hbase1

命令：netstat -lnpt | grep 7180

启动的过程需要一段时间，大约2分钟左右，请耐心等待。。。

5.16访问Cloudera Manager Server

5.16.1登录到CM

访问http://192.168.56.11:7180/cmf/login，

默认用户名/密码为：admin/admin

接下来，一路next

这里我们选择“Cloudera Express”

5.16.2添加主机

5.16.3设置存储库

选择“自定义存储库”，输入：http://192.168.56.11/cm6.0/

使用parcel选择，点击“更多选项”,点击“-”删除其它所有地址，

输入http://192.168.56.11/cdh6.0/，点击“保存更改”

5.16.4安装jdk

5.16.5安装Install Agents

此步的时间会长一些

5.16.6分配\解压\激活

5.16.7检查主机正确性

这里报了两个警告，需要处理一下。

  1. 处理swappiness

范围： hbase2/hbase3/hbase4

命令：echo 0 > /proc/sys/vm/swappiness

 运行上述命令后，点击：“重新运行”，已解决。

2)升级Psycopg2

 

范围： hbase2/hbase3/hbase4

命令：

yum -y install python-devel mysql-devel zlib-devel openssl-devel gcc-c++ postgresql-devel*

cd /opt

wget https://pypi.python.org/packages/source/p/psycopg2/psycopg2-2.5.4.tar.gz

tar zxvf psycopg2-2.5.4.tar.gz

cd psycopg2-2.5.4

python setup.py build

python setup.py install

运行上述命令后，点击：“重新运行”，已解决。

5.16.8选择服务

我选择了”自定义服务“

也可以在以后需要的时候，再添加服务。

5.16.9自定义角色分配

为了更加均衡的分配资源，我们”按主机查看“一下角色分配的具体情况

尤其要注意zookeeper的选择，至少3个以上

Hbase2的角色比较多，再选择角色的时候，尽量分散开，选择完之后的角色分配情况。

选择好之后，继续进行安装

至此，CDH6.1.0已经成功安装成功了，点击”完成“，主界面就出现了。

 

 

CentOS7 简易版离线安装CDH14.docx
04-29
本文档将指导读者在 CentOS 7 环境下离线安装 CDH 14，并对相关知识点进行详细解释。 知识点 1：CDH 介绍 CDH（Cloudera Distribution of Hadoop）是 Cloudera 公司开发的一款基于 Hadoop 的大数据解决方案。CDH ...
Centos7部署CDH6.3.2集群.doc
最新发布
03-06
### Centos7部署CDH6.3.2集群的知识点详解 #### 一、概述 在当前的大数据处理环境中，Apache Hadoop及其生态系统是构建大数据平台的重要基础之一。Cloudera Distribution Including Apache Hadoop (CDH) 是由 ...
CDH6离线安装 -
04-01
CentOS7 下离线安装CDH6，绝对可用。 各种坑的解决，强烈建议收藏，因为CDH6和CDH5离线安装区别很大，官方网文档太混乱，这个是非常清晰的概括总结
CentOS 7 安装 CDH6
JustForGavinDu的博客
07-06 461
机器准备 IP 机器名 内存 硬盘 192.168.9.200 master 4G+ 50G+ 192.168.9.211 slave01 2G+ 30G+ 192.168.9.212 slave01 2G+ 30G+ 192.168.9.213 slave01 2G+ 30G+ //查看系统版本(CentOS 7.x) minimal安装 [root@du001 ~]# cat /etc/centos-release CentOS Linux release 7.9..
Centos7在线安装CDH5
欢迎来到李奇峰的数据世界
07-03 827
以下步骤亲测有效无误！！！！！ 一、 基础环境准备 1）软件清单 Centos7(64位)服务器3台，地址如下： 192.168.56.1（此地址映射你自己的服务器地址） 192.168.56.2（此地址映射你自己的服务器地址） 192.168.56.3 （此地址映射你自己的服务器地址） jdk1.8 Mysql5.7 （必须要5.7的版本！！） mysql-connector-java-5....
CentOS7安装部署CDH6.2.1
Z-NOTE
10-23 886
Cloudera Manager 是一个用于管理 CDH 集群的端到端应用程序。
Centos7 安装部署 CDH6.1.0 手册
liuwei0376的专栏
08-05 2221
目录 一、CDH6简介 4 CDH6支持的组件列表： 4 二、CDH6安装前环境准备 5 1、CM6.1.0以及CDH6.1.0的安装： 5 2、CM & CDH Parcel包准备 5 3、创建CM & CDH组件存储库 6 4、 在主节点配置CDH6.1.0二进制Parcel仓库 6 5、 配置yum仓库 6 6、每台服务器进行系统环境设置： 7 A).安装...
centos7安装CDH5.X.X
08-28
在本文中，我们将详细探讨如何在CentOS 7操作系统上安装CDH5.7.1。CDH（Cloudera Distribution Including Apache Hadoop）是由Cloudera公司提供的一个开源大数据平台，它包含了多个Apache Hadoop生态系统组件，如...
CentOS7安装CDH5.14过程全纪录
04-18
### CentOS7安装CDH5.14全过程解析 #### 一、概述 本文将详细介绍如何在CentOS7系统上安装Cloudera Distribution Including Apache Hadoop (CDH) 5.14版本。此过程适用于搭建大数据处理平台的需求，涵盖了安装前的...
Linux上CentOS 7 安装CDH 5.12.1进行集群搭建
07-04
为了在6台CentOS 7虚拟机上安装CDH 5.12.1，你需要完成以下步骤： 1. **环境准备**：确保所有机器都是64位的CentOS 7，并且有足够的磁盘空间。根据描述，至少需要8GB内存来安装Agent，而Server需要12GB内存。确保...
Centos7.6自动化安装CDH6.2.0脚本.docx
08-06
该脚本可以安装多台服务器，根据需要配置hostname文件。
CDH6.2.0最全安装包
04-07
CDH6.2.0最全安装包，包括管理服务以及客户端软件，还包括mysql5.7的安装包。
centos7下离线安装cdh6.2.0的详细过程
qq_42023509的博客
11-06 1594
目录导航：一.说明及其准备工作二.配置环境(已装环境可以忽略)1.关闭防火墙和 selinux2.时钟同步3.配置 ssh 免密登录4.禁用透明大页面压缩5.安装jdk安装 mysql安装cm和cdh 一.说明及其准备工作 本次安装的环境为CentOS7.6系统下离线安装CDH6.2.0。 CDH6 系列(CDH 6.0.0、CDH 6.1.0、CDH 6.2.0)等 平台的安装方式均基本一致，可以参考 本次安装方法不是唯一的，但是经过本人测试，可以放心使用 如若配置环境已安装好，可以直接忽略 下载CM6
CDH6官方文档中文系列(3)----Cloudera安装指南(安装CM和CDH)
hanli2020的博客
06-05 1625
Cloudera安装指南 最近在学习cdh6的官方文档，网上也比较难找到中文的文档。 其实官方英文文档的阅读难度其实并不是很高，所以在这里在学习官方文档的过程中，把它翻译成中文，在翻译的过程中加深学习了解，并分享出来和大家一起学习。 中文内容是本人的渣渣英文水平结合有道词典，谷歌翻译的结果，文中部分词语可能翻译的并不准确，希望大家多多提出意见，共同进步。 cdh6的官方中文文档系列长期更新，最后目标整理成gitbook，同大家交流学习。 最后，如果你觉得本文对你有用，希望点个赞给作者一点鼓励哈。 与其感
容器内安装CDH 6.3.2
weixin_39561762的博客
09-06 1064
参考CDSN资源 https://www.cnblogs.com/runnerjack/p/12693597.html 1.环境准备 1.1 安装vagrant虚拟机 node01 Vagrant.configure("2") do |config| config.vm.box = "centos/7" config.vm.hostname = "node01" config.vm.network "private_network", ip: "10.1.100.11" # 虚拟机配置
Centos7安装大数据平台CDH 6.2-实践验证可行
ITMAN009的博客
08-03 616
CDH 和Cloudera Manager介绍 1.CDH介绍 目前Hadoop比较流行的主要有2个版本，Apache和Cloudera版本。 Apache Hadoop：社区人员比较多，更新频率比较快，但是稳定性比较差，安装配置繁琐，实际使用者少。 Cloudera Hadoop（CDH）：Cloudera公司的发行版本，基于Apache Hadoop的二次开发，优化了组件兼容和交互接口、简化安装配置、提供界面统一管理程序。 CDH 提供以下特性： 灵活性：存储任何类型的数据并使用各种不同的计算框
Ansible批量安装CDH集群：离线
eyeofeagle的博客
05-14 1813
文章目录1, 规划概览a, 服务拆分：多个小角色b, 目录结构，使用帮助2, 具体操作内容3, 具体模板内容 1, 规划概览 a, 服务拆分：多个小角色 b, 目录结构，使用帮助 [vagrant@c7 ansible-cdh-el7-playbook]$ tree . ├── ansible7.tar ├── group_vars │ └── all ├── help.txt ├── hosts ├── hosts-cdh -> roles/common/files/hosts ├── ins
小白从CentOS7到安装CDH6.3.2入坑实操指北(一)
quantam的博客
09-20 542
操作系统安装和网卡配置图文操作简介
CDH6.0、6.1篇：4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)
laughing1997的博客
03-29 1780
前置工作： 在CDH安装之前必须保证NODE1主节点中的以下程序均已启动 1.每台机器：根据aliyun提供的服务进行 时间同步：ntpdate -u ntp6.aliyun.com 启动服务 systemctl start ntpd、systemctl restart ntpd 查看是否启动 ps -ef | grep ntpd 开机启动 systemctl enable ntp...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值