使用本地源手动搭建CDH.6.3.0

最新推荐文章于 2022-07-19 18:54:36 发布
最新推荐文章于 2022-07-19 18:54:36 发布
阅读量545 收藏
点赞数 1
分类专栏： 笔记 文章标签： hadoop hdfs cloudera
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/faifnia/article/details/107782127
版权

一、前期准备

   1、关闭防火墙
   2、配置NTP时间同步服务
   3、设置SELinux模式
   前期准备就不展开网上一搜一大堆，如果你是使用阿里云的服务器那么防火墙和SElnux啥的都不用管。如果你是单节点ntp也不用配

二、准备安装包

   1、MYSQL安装包    https://dev.mysql.com/downloads/mysql/5.7.html#downloads
   2、JDBC 驱动包      wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.47.tar.gz（如果wget不下来，就直接浏览器输入上述url）
   3、cm安装包   （1281944）       https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/
   4、parcel 安装包 （可选，如果不配置没关系可以省略,如果真的需要加我微信我给你网盘 微信--hanyeah5288）
   5. 准备allkey       wget https://archive.cloudera.com/cm6/6.3.0/allkeys.asc

最终目录树：

└── hadoop_CHD
    ├── cloudera-repos
    │   ├── allkeys.asc
    │   ├── cloudera-manager-agent-6.3.0-1281944.el7.x86_64.rpm
    │   ├── cloudera-manager-daemons-6.3.0-1281944.el7.x86_64.rpm
    │   ├── cloudera-manager-server-6.3.0-1281944.el7.x86_64.rpm
    │   ├── cloudera-manager-server-db-2-6.3.0-1281944.el7.x86_64.rpm
    │   ├── enterprise-debuginfo-6.3.0-1281944.el7.x86_64.rpm
    │   └── oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
    ├── mysql
    │   └── mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar
    ├── mysql-jdbc
    │   └── mysql-connector-java-5.1.47.tar.gz
    └── parcel
        ├── CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel
        └── manifest.json

二、配置JDK

     1、java version "1.8.0_231" --这是我用的版本大家自己安装就好了

三、搭建本地yum源

     1、安装httpd和createrepo 
     yum -y install httpd createrepo
     2、启动httpd服务
     systemctl start httpd && systemctl enable httpd
     3、生成RPM元数据
     这些软件包我放在了/mnt02/hadoop_CHD/cloudera-repos/下，你们根据自己的需求自己创建。
     cd /mnt02/hadoop_CHD/cloudera-repos/ && createrepo .
     4、移动目录
     mv /mnt02/hadoop_CHD/cloudera-repos /var/www/html/
     5、访问一下
     http://服务器外网ip/cloudera-repos/

四、安装配置mysql库

1、卸载自带的mariadb-libs
yum -y remove mariadb-libs
2、解压
tar -xvf mysql-5.7.31-1.el7.x86_64.rpm-bundle.tar
3、安装(MySQL 依赖 libaio，所以先要安装 libaio)
yum install -y libaio
&& rpm -ivh mysql-community-common-5.7.31-1.el7.x86_64.rpm
&& rpm -ivh mysql-community-libs-5.7.31-1.el7.x86_64.rpm
&& rpm -ivh mysql-community-client-5.7.31-1.el7.x86_64.rpm
&& rpm -ivh mysql-community-server-5.7.31-1.el7.x86_64.rpm
&& rpm -ivh mysql-community-libs-compat-5.7.31-1.el7.x86_64.rpm
4、vim /etc/my.cnf
写入官网推荐配置：

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
symbolic-links = 0
key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1
max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M
#log_bin should be on a disk with enough free space.
#Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your
#system and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log
#In later versions of MySQL, if you enable the binary log and do not set
#a server_id, MySQL will not start. The server_id must be unique within
#the replicating group.
server_id=1
binlog_format = mixed
read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M
# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit  = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M
character-set-server=utf8
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
sql_mode=STRICT_ALL_TABLES

5、启动服务并查看
启动：systemctl start mysqld
查看：systemctl start mysqld
6、获取初始密码—grep password /var/log/mysqld.log
阿里云服务器获取不到初始密码解决方法：http://www.mamicode.com/info-detail-2505104.html
7、更改密码-----这里有个坑，密码必须大于八位并且有大小写字母特殊字符和数字，要不然后面认证很麻烦！！！
mysql -uroot -p
set password for root@localhost = password(‘123456Aa.’);
8、设置远程登录权限–进入mysql输入下列命令
grant all privileges on . to ‘root’@’%’ identified by ‘你的密码’;
flush privileges;

五、JDBC驱动

 1、解压之后放入文件夹内并更名
tar -zxvf mysql-connector-java-5.1.47.tar.gz
mkdir -p /usr/share/java/
cd mysql-connector-java-5.1.47
cp mysql-connector-java-5.1.47-bin.jar /usr/share/java/mysql-connector-java.jar

六、创建CDH需要的mysql元数据库

1、建库–把下面的语句粘贴复制，搞定！！！

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

2、授权

GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY '你的密码';
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY '你的密码';
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY '你的密码';
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY '你的密码';
GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY '你的密码';
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY '你的密码';
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY '你的密码';
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY '你的密码';
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY '你的密码';

3、检查一下—检查一下授权

SHOW GRANTS FOR 'scm'@'%';
SHOW GRANTS FOR 'amon'@'%';
SHOW GRANTS FOR 'rman'@'%';
SHOW GRANTS FOR 'hue'@'%';
SHOW GRANTS FOR 'hive'@'%';
SHOW GRANTS FOR 'sentry'@'%';
SHOW GRANTS FOR 'nav'@'%';
SHOW GRANTS FOR 'navms'@'%';
SHOW GRANTS FOR 'oozie'@'%';

五、安装Cloudera Manager

1、编辑repo文件
命令=vim /etc/yum.repos.d/cloudera-manager.repo
输入内容：
[cloudera-manager]
name=Cloudera Manager 6.3.0
baseurl=http://你的服务器IP/cloudera-repos/
gpgcheck=0
enabled=1
2、生成缓存
yum clean all && yum makecache
3、安装
yum install -y cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
4、检查
rpm -qa|grep cloudera-manager
5、启动
systemctl start cloudera-scm-server
6、查看日志
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
当日志出现以下提示时，说明启动成功
INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.
7、注意
cm的webUI默认是7180端口，使用阿里的服务器时一定要开放安全组端口，并且白名单不要设置为0.0.0.0,因为一旦白名单设置为0.0.0.0，就意味着任何ip都能访问你的服务器，中毒的概率非常大！！！！！！！！

8、安装CDH
跟着步骤走就好了。没什么难的，有什么问题可以留言

成仙
关注
专栏目录
kudu 1.10.0-cdh6.3.0 本地yum源安装
yxluojiecpp的博客
08-23 564
大数据 nosql数据库 kudu 1.10.0 cdh6.3.0 本地yum源安装
Cloudera CDH6.3.0集群安装与部署，集成hbase，集成spark
a515381937的博客
12-29 1197
CDH6.3.0集群安装与部署 1.1.修改机器名（所有节点） 修改机器名称，这种方式，在Centos7中可以永久性改变主机名称。 #hostnamectl set-hostname xxx //设置机器名 #hostname // 查看本机名 每个节点机器，都要配置hosts #vi /etc/hosts 内容都改为： 127.0.0.1 localhost //建议保留此行 192.168.144.*** hadoopm 192.168.144.*** hadoopf 1.2.设置防火墙（所有
手动搭建CDH版本的大数据平台
浅谈
06-11 1505
手动搭建CDH版本的大数据平台基础环境的准备搭建zookeeper集群搭建Hadoop的HA架构集群搭建hbase的HA架构的集群搭建elasticsearch分布式集群 ​ 本次搭建是在虚拟机上面进行Linux环境的搭建，版本为5.14.0，提供的虚拟机为5台。配置的主机名分别为v1，v2，v3，v4，v5 基础环境的准备 配置了每台虚拟机和其他虚拟机的免密登陆，使用到的linux命令为 ssh-keygen ##用法 [root@v1 ~]# ssh-keygen ssh-copy-id
大数据环境搭建-CDH6.3.0安装
wuhulala的休息室
05-06 1867
https://www.cloudera.com/documentation/enterprise/6/6.3/topics/cm_ig_mysql.html 安装impala 非CDH 版本，恶心的一逼，算了老夫 花了20分钟装了一个CDH。 准备工作 配置hostname 设置hostname,一定要独一无二 sudo hostnamectl set-hostname foo-1.ex...
Centos7.4配置CDH6.3.1的本地yum源
娜然的专栏
05-28 890
一．下载CDH需要的包 下载地址： https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/ 下载到目录： /var/www/html/repos/cm/repodata /var/www/html/repos/cm/RPMS allkeys.asc文件：放在/var/www/html/repos/cm 转存失败重新上传取消 二．配置只在本地访问的源 [root@node1 yum.repos.d]# pwd /etc/yum.repo...
CDH 6.3.0 allkeys.asc
12-21
《CDH 6.3.0 allkeys.asc：CDH Hadoop安全认证详解》 在大数据领域，Cloudera Data Hub（简称CDH）作为一套全面的企业级Hadoop发行版，为用户提供了强大的数据处理和分析能力。CDH 6.3.0是其重要的版本之一，针对这...
CDH6.3.0 rpm安装包大全 离线下载地址
05-02
cdh6\6.3.0\redhat7\yum\RPMS\noarch cdh6\6.3.0\redhat7\yum\RPMS\x86_64 2个目录 包含hadoop hive hbase bigtop impala spark kudu zookeeper sqoop flume 等等全系列安装rpm包 cdh6\6.3.0\parcels 包含cloudera ...
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
### 基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优 #### 概述 随着大数据技术的发展，Hadoop生态系统不断成熟与完善，其中Apache Hive作为数据仓库工具，支持通过SQL语句进行查询、分析存储在Hadoop文件系统...
phoenix_cdh.rar
08-05
总的来说，Phoenix5.0.0-cdh6.2.0在CDH平台上的使用，为企业提供了一个强大且易于使用的SQL接口，用于管理和查询HBase数据，显著提升了大数据环境中的实时查询性能。通过深入理解和有效利用Phoenix，企业能够更好地...
CDH6.3.0 报错汇总
刘李404not_found的博客
08-22 1万+
报错一、 Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。 解决方案 临时生效： sysctl vm.swappiness=...
大数据平台CDH的介绍和5.16/6.3版本的搭建
大宇进阶之路的博客
05-12 1万+
CDH介绍 Hadoop主流三大发行版本： 1. Apache hadoop 官方社区开源版本 2. CDH Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。 3. HDP 现在cdh已经将hdp收购。Cdh公司在2...
cdh集群搭建(6.3)
前方的路在刚开始
07-19 3981
6.3是社区的免费版，再往后是收费版，目前官方已经取消了地址，大家可以从我下面给出的地址中获取,云服务器12月到期，我不打算继续续费（一年2000，2MB下载速度，大家觉得下的慢，可以联系我，提供赞助，只要钱够，想要多快的服务器，阿里都提供）我打算全部删除，重新来一次，文档要修改的非常细，这样我以后就可以3小时内搭完。硬件要求官方建议，主节点内存32GB，2核心以上，从节点16GB，2核以上。文档老了，花了2天，解决完所有bug，先来一张图。虚拟机化测试，官方建议，社区版，，企业版最低要求，10G。....
Flink基础系列4-CDH6.3集成Flink1.9
热门推荐
只是甲的博客
10-13 1万+
文章目录一.准备工作1.1 CDH 6.3.1大数据平台搭建1.2 安装方式讨论1.3 安装介质下载及上传1.3.1 介质下载1.3.2 上传文件1.4 重启cdh集群二.安装Flink2.1 配置本地Flink 的 parcel2.2 开始安装Flink三.FAQ3.1 Deploy client Configuration失败3.2 为激活 Parcel:[flink]参考: 一.准备工作 1.1 CDH 6.3.1大数据平台搭建 CDH 6.3 大数据平台搭建 1.2 安装方式讨论 CDH本身不自带F
ClouderaManager6.3 单机搭建
wsq_strive的博客
08-27 2918
1、修改主机名 hostnamectl set-hostname n68 2、开启ntpd 自动同步时间，并加入开机启动 systemctl status ntpd \ && systemctl start ntpd \ && systemctl enable ntpd \ && systemctl status ntpd 3、下载Clo...
CDH6.3 搭建文档
雪辉博客
11-30 757
文章目录一、概述二、部署规划2.1 Cloudera Manager2.2 CDH parcel2.3 软件目录三、环境配置3.1 配置映射3.2 关闭防火墙&selinux3.3 配置互信3.4 创建用户3.5 安装jdk3.6 配置NTP3.7 安装MySQL驱动程序四、安装MySQL4.1 创建MySQL用户组和用户4.2 解压软件&目录配置4.3 配置环境变量4.4 修改配置文件4.5 初始化&启动数据库4.6 创建相关数据库&用户五、Cloudera-manager
CDH 6.0.0 搭建
BOT-CC的博客
09-15 3400
一、修改hostname 修改集群中各机器的hosts和hostname，并使之永久生效。步骤如下： 输入命令 hostname：查看当前hostname； 输入命令 hostname <new.hostname>：修改new hostname并立即生效（临时有效，重启系统后失效） 输入命令 vim /etc/hosts：为集群中的各机器添加对应的hosts； 输入命令 vi...
Cloudera Manager6.3.1+CDH6.3.2本地仓库方式搭建（超详细版）
weixin_39338423的博客
09-04 7349
博客是根据官方文档的安装教程整理而成的，有不清楚的地方建议多加阅读官方文档！
CDH6.3配置安装实操
MrGrant.blog
04-22 1964
环境要求 Redhat7.4安装CDH6.3。CDH6与CDH5的安装步骤一致，主要包括以下四部分： 1.安全前置准备，包括安装操作系统、关闭防火墙、同步服务器时钟等； 2.外部数据库如MySQL安装 3.安装Cloudera Manager； 4.安装CDH集群； 请务必注意CDH6的安装前置条件包括如下： 外部数据库支持： MySQL 5.7或更高 MariaDB 5.5或更高 Postgr...
容器内安装CDH 6.3.2
weixin_39561762的博客
09-06 1014
参考CDSN资源 https://www.cnblogs.com/runnerjack/p/12693597.html 1.环境准备 1.1 安装vagrant虚拟机 node01 Vagrant.configure("2") do |config| config.vm.box = "centos/7" config.vm.hostname = "node01" config.vm.network "private_network", ip: "10.1.100.11" # 虚拟机配置
CentOS 6下搭建CDH5.x集群安装指南
操作系统选择的是CentOS 6，使用的CDH版本为CDH5.x，所有操作均通过root权限进行。 首先，集群服务器配置涉及以下内容： 1. 安装CentOS 6操作系统，并处理网络连接问题，如无法上网则需创建CentOS repository以便...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值