CENTOS7安装 CDH5

最新推荐文章于 2024-09-26 19:38:12 发布
最新推荐文章于 2024-09-26 19:38:12 发布
阅读量1.7k 收藏
点赞数
分类专栏： linux

环境：三台centos7

master：IP：192.168.210.6

slave1：IP：192.168.210.7

slave2：IP：192.168.210.8

相关软件包：

JKD：1.8    下载地址Oracle官网：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

Cloudera Manager地址：http://archive.cloudera.com/cm5/cm/5/    我是下载的cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz

CDH安装包地址：http://archive.cloudera.com/cdh5/parcels/5.13/     7版本下载的是CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1 manifest.json

java-mysql连接jar包：http://central.maven.org/maven2/mysql/mysql-connector-java/8.0.7-dmr/    我下的是mysql-connector-java-8.0.7-dmr.jar

这样看是六个包，然后上传到服务器上

[root@master ~]# mv CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1 CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha           

环境准备：

1、修改主机名和hosts （每台机器都要）

[root@master ~]# hostnamectl set-hostname master

[root@slave1 ~]# hostnamectl set-hostname slave1

[root@slave2 ~]# hostnamectl set-hostname slave2

[root@master ~]# cat /etc/hosts                                   //另外两个节点同理

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.210.6 master

192.168.210.7 slave1

192.168.210.8 slave2

2、设置ssh密钥登陆 （每台机器都需要）

[root@master ~]# ssh-keygen -t rsa                   //三次回车即可

[root@master ~]# ssh-copy-id 192.168.210.7              //输入yes  和192.168.210.7的root密码    其他节点操作同样，实现无密码登陆，后期有需要

[root@master ~]# ssh root@192.168.210.7            //实验一下 不需要密码成功登陆则成功

3、安装JDK  （每台机器都要）

[root@master ~]# rpm -qa |grep java

[root@master ~]# rpm -e --nodeps packageName                //如有可进行卸载

[root@master ~]# tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/local/

[root@master ~]# vim /etc/profile                                          //配置Java环境变量

export JAVA_HOME=/usr/local/jdk1.8.0_131
export JAVA_BIN=/usr/local/bin/jdk1.8.0_131
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH

[root@master ~]# source /etc/profile

[root@master ~]# java -version                                        //JDK安装成功
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

4、关闭selinux和firewalld （每台机器都需要）

[root@master ~]# setenforce 0                   //临时关闭

[root@master ~]# vim /etc/selinux/config

SELINUX=enforcing更改为SELINUX=permissive（或者disabled）

[root@master ~]# systemctl stop firewalld
[root@master ~]# systemctl disable firewalld

5、NTP服务器设置(用于不同节点间实现时间同步，每台都要做)

[root@master ~]# yum -y install ntp

[root@master ~]# vim /etc/ntp.conf

[root@master ~]# systemctl enable ntpd

[root@master ~]# systemctl restart ntpd

[root@master ~]# ntpdate -u 2.pool.ntp.org             //同步一下时间

//表示成功，每台都同步一下

[root@master ~]# hwclock --systohc                  //同步系统时钟 (以防止同步问题)。

6、安装配置MySQL(主节点)

[root@master ~]# yum -y install mariadb-server*

[root@master ~]# vim /etc/my.cnf

[root@master ~]# systemctl restart mariadb.service

[root@master ~]# systemctl enable mariadb.service

[root@master ~]# mysql_secure_installation

[root@master ~]# mysql -uroot -p

Enter password:

MariaDB [(none)]> create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

MariaDB [(none)]> create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

MariaDB [(none)]> create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

MariaDB [(none)]> create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

MariaDB [(none)]> create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

MariaDB [(none)]> grant all on *.* to root@"%" Identified by "000000";

MariaDB [(none)]> flush privileges;

MariaDB [(none)]> exit

7、其他安装与配置（全部节点都要做）

[root@master ~]# yum -y install psmisc MySQL-python at bc bind-libs bind-utils cups-client cups-libs cyrus-sasl-gssapi cyrus-sasl-plain ed fuse fuse-libs httpd httpd-tools keyutils-libs-devel krb5-devel libcom_err-devel libselinux-devel libsepol-devel libverto-devel mailcap noarch mailx mod_ssl openssl-devel pcre-devel postgresql-libs python-psycopg2 redhat-lsb-core redhat-lsb-submod-security x86_64 spax time zlib-devel

[root@master ~]# chmod +x /etc/rc.d/rc.local

[root@master ~]# echo "echo 0 > /proc/sys/vm/swappiness" >>/etc/rc.d/rc.local

[root@master ~]# echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >>/etc/rc.d/rc.local

[root@master ~]# echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >>/etc/rc.d/rc.local

[root@master ~]# echo 0 > /proc/sys/vm/swappiness

[root@master ~]# echo never > /sys/kernel/mm/transparent_hugepage/defrag

[root@master ~]# echo never > /sys/kernel/mm/transparent_hugepage/enabled

[root@master ~]# yum -y install rpcbind

[root@master ~]# systemctl start rpcbind

[root@master ~]# echo "systemctl start rpcbind" >> /etc/rc.d/rc.local

二、开始安装CDH （主节点）

1、创建数据库

[root@master ~]# tar -zxvf cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz -C /opt/

[root@master ~]# cp mysql-connector-java-8.0.8-dmr.jar /opt/cm-5.13.0/share/cmf/lib/                          //JDBC

[root@master ~]# /opt/cm-5.13.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p000000 --scm-host localhost scm scm scm

//在这里后面的参数分别是：数据库类型  数据库名称  数据库主机名  数据库用户名 密码  --scm-host 主机名 scm scm scm

2、创建用户（每个节点都要）

[root@master ~]# useradd --system --home=/opt/cm-5.13.0/run/cloudera-scm-server --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3、制作本地源

[root@master ~]# cp CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha manifest.json /opt/cloudera/parcel-repo/

[root@master ~]# cp mysql-connector-java-8.0.8-dmr.jar /usr/local/jdk1.8.0_131/lib/mysql-connector-java.jar             //所有节点都要

4、Agent配置

修改/opt/cm-5.13.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名

[root@master ~]# vim /opt/cm-5.13.0/etc/cloudera-scm-agent/config.ini

server_host=master

同步Agent到其他所有节点

[root@master ~]# scp -r /opt/cm-5.13.0/ root@slave1:/opt/

[root@master ~]# scp -r /opt/cm-5.13.0/ root@slave2:/opt/

启动服务，在其他节点上起agent

[root@master ~]# /opt/cm-5.13.0/etc/init.d/cloudera-scm-server start

[root@master ~]# /opt/cm-5.13.0/etc/init.d/cloudera-scm-agent start

[root@slave1 ~]# /opt/cm-5.13.0/etc/init.d/cloudera-scm-agent start

[root@slave2 ~]# /opt/cm-5.13.0/etc/init.d/cloudera-scm-agent start

启动浏览器  http://192.168.210.6:7180              //用户名密码 admin:admin

//这里可能会出现hue链接不上的错误。是因为少装了一个包   yum install -y python-lxml   再测试就OK了

//根据自己的喜好来，后期可以再修改

 

开始安装！！！

然后首次失败了，因为我是tar.gz的JDK。他找不到我的JDK。。。

[root@master logs]# find / -type f -name "*.sh" | xargs grep "as ALT_NAME"

[root@master logs]# vim /opt/cm-5.13.0/lib64/cmf/service/client/deploy-cc.sh         //直接再开头填上我的JAVA路径，三个节点都如此

JAVA_HOME=/usr/local/jdk1.8.0_131
export JAVA_HOME=/usr/local/jdk1.8.0_131

然后重新来，迎来了第二次失败。。原因是没用MySQL 的jdbc，行啊，复制一个过去

[root@master ~]# cp mysql-connector-java-8.0.8-dmr.jar /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hive/lib/

继续干，

嗯，完成。

vitaair
关注
专栏目录
centos7安装CDH5.X.X
08-28
在本文中，我们将详细探讨如何在CentOS 7操作系统上安装CDH5.7.1。CDH（Cloudera Distribution Including Apache Hadoop）是由Cloudera公司提供的一个开源大数据平台，它包含了多个Apache Hadoop生态系统组件，如...
Centos7 安装Cm6.3.1+Cdh6.3.2
qq_18453581的博客
06-18 1352
资源合集地址： 先初始化服务器然后修改hosts文件 vim /etc/hosts master 192.168.5.10 node1 192.168.5.11 node2 192.168.5.12 yum -y install httpd createrepo systemctl start httpd systemctl enable httpd （不用执行）createrepo .将当前目录rpm添加到仓库，可以使用yum install 安装 创建目录 上传资源包到..
centos7环境下安装CM、CDH搭建大数据集群(未完)
phenixzhong的专栏
10-21 592
、浏览器地址栏中输入：localhost:7180(因为VMware中浏览器不能显示所有网页，所以在宿主机的浏览器中输入192.168.40.11:7180)；输入用户名、密码(都是admin) 、登录进去后的界面如下： 、点击上图中的Continue按钮后的界面如下： 、修改上图中的集群名和点击Continue按钮后的界面如下： 、在上图中输入你要管理的机器名(/etc/hosts中要保存有机器名和ip地址的映射)后，点击search按钮，结果见下图： 、点击上图中的C...
CentOS 7.5 ISO文件百度网盘下载指南：稳定、安全的服务器操作系统
最新发布
gitblog_06639的博客
09-26 1345
CentOS 7.5 ISO文件百度网盘下载指南：稳定、安全的服务器操作系统 【下载地址】CentOS7.5ISO文件百度网盘下载指南 CentOS 7.5 ISO文件百度网盘下载指南欢迎来到CentOS 7.5 ISO文件下载资源页 ...
在centos7上 安装CM的步骤
JCY19890312的博客
08-30 864
1. 安装jdk    （http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_jdk_installation.html） 2. 安装mysql  （http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_mysql.h
Linux系列---CentOS7安装CDH5.14.0过程全纪录
lipviolet的博客
05-17 4859
引言 这是在虚拟机上自己搭建的一个cdh集群，某些细节可能会有一些疏漏没有记载，但是大体流程绝无错误，可以放心参考，并且因为测试需要在一台真正的服务器上搭建过一个单节点的cdh，也是按照这个流程，安装cm时这一个仅有的服务器既是server同样也是agent。 所以，hadoop无论是什么版本，单机和集群都可以适用。（集群可以，单机必然也可以） 目录 简介 环境及软件说明 环境说明 ...
CDH安装指南（Centos6）
chenjadeli的博客
01-25 2793
1. 环境说明 软件准备 JDK Tar包 Mysql RPM及其依赖 Mysql JDBC Driver Tar包 Clouda RPM及其依赖 Parcels文件（CDH，KAFKA等） 本文以3台机器为例，sys01-sys03，其中sys01是主节点，其他是从节点 2. 开始前 2.1 修改主机名并添加到hosts文件 # 设置主机名 修改 /etc/sysconfig/network 的HostName hostname newmachinename # 将主机名和IP映射关系添加
CentOS7 简易版离线安装CDH14.docx
04-29
CentOS 7 简易版离线安装 CDH 14 本文档将指导读者在 CentOS 7 环境下离线安装 CDH 14，并对相关知识点进行详细解释。 知识点 1：CDH 介绍 CDH（Cloudera Distribution of Hadoop）是 Cloudera 公司开发的一款...
CDH6.3.2+centos7完全离线下安装手册
09-12
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256 manifest.json CentOS-7-x86_64-DVD-1611...离线安装CDH6.3.2.docx
CentOS7安装CDH5.14过程全纪录
04-18
### CentOS7安装CDH5.14全过程解析 #### 一、概述 本文将详细介绍如何在CentOS7系统上安装Cloudera Distribution Including Apache Hadoop (CDH) 5.14版本。此过程适用于搭建大数据处理平台的需求，涵盖了安装前的...
Centos 7 离线安装Cloudera Manager6 和CDH6.3.1.docx
05-19
CentOS 7 离线安装 Cloudera Manager 6 和 CDH 6.3.1 本文将指导您在 CentOS 7 环境中离线安装 Cloudera Manager 6 和 CDH 6.3.1。整个安装过程可以分为多个步骤，包括环境准备、系统配置、Java 环境配置、SSH 无...
centos6.5安装CDH5.9.0详解
07-03
文档详细记录了本人在centos6.5服务器上安装CDH5.9.0的整个过程，希望给需要的朋友提供帮助
基于Centos7.6安裝CDH6集群
weixin_44074288的博客
07-06 460
前提：所有cdh相关安装文件均放在master节点（cdh节点）的/root/cdh目录下 1.2配置hosts文件 echo -e ‘10.0.24.6 cdh\n10.0.20.2 cdh01\n10.0.20.7 cdh02\n10.0.20.10 cdh03’ >> /etc/hostscat /etc/hosts 1.3关闭selinux setenforce 01.4关闭防火墙 关闭防火墙 systemctl stop firewalld.service 关闭开机自启动 systemctl di
3台阿里云ECS安装CDH大数据集群过程（CentOS7.4+独立数据盘）
weixin_33881041的博客
07-19 940
为什么80%的码农都做不了架构师？>>> ...
centos7安装CDH记录
lck5602的专栏
05-19 2822
https://blog.csdn.net/qq_37667074/article/details/787315291、下载文件1.1 下载jdkhttp://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载jdk1.8下载cdhCloudera Manager下载地址： http://a...
CentOS7安装CDH5
To be a better man
03-19 2136
一、准备环境1.     安装环境系统配置：系统：centos 7 最小安装版 64位内存：20G 20G 20G三台机器组成小集群（物理机）DEV1 DEV2 DEV3 2.      需要下载的安装包o    cloudera-manager-centos7-cm5.14.0_x86_64.tar.gzo    CDH相关·        CDH-5.14.0-1.cdh5.14.0.p0.2...
centos7 安装 cdh5 集群超详细教程
随风随想
06-11 775
系统环境： 主节点： master 10.18.1.117 从节点： slave1, slave2, slave3 10.18.1.118, 10.18.119, 10.18.1.120 一、准备工作，系统环境搭建 预先准备工作： CDH 系统优化之关闭透明大页面及设置swappiness http://blog.csdn.net/post_yuan/article/details/54967508 1. 关闭透明大页面 首先查看透明大页是否启用，[always] never表示已启用，always [
CentOS7离线安装Cloudera Manager 5.14.1
热门推荐
chenhai201的博客
02-22 2万+
前言 本文主要记录Centos7.4 离线安装CDH和Cloudera Manager。安装的版本为Cloudera Manager 5.14.1，如遇不同版本，安装方式大致相同。 内容 版本 CentOS 7.4 64位 JDK 1.7 Cloudera Manager 5.14.1 本次安装一共使用6台服务器，均在阿里云采用按量付...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值