cdh阿里云安装

最新推荐文章于 2024-04-21 18:26:03 发布
最新推荐文章于 2024-04-21 18:26:03 发布
阅读量860 收藏
点赞数
文章标签： 数据库 linux hadoop centos 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/github_28583061/article/details/106500322
版权
这篇博客详细介绍了如何在阿里云上安装CDH 6.2.1集群，包括CDH和CM的离线包准备、主机配置、免密登录、JDK安装、MySQL JDBC驱动配置、数据库创建、CDH parcel安装以及集群的启动和测试。主要涉及Linux CentOS 7.3系统，涉及技术包括Hadoop、大数据、数据库和Linux系统管理。
摘要由CSDN通过智能技术生成

集群安装(cdh 6.2.1)

cdh 安装

cdh 版本与hadoop 版本对应关系

6.1文档

centos 源

服务器

  • viya02 master
  • viya01 master2
  • dm-inc-fin-1 data1
  • dm-inc-fin-2 data2
  • forecastedatamind data3

具体步骤

CDH离线包准备

配置host (所有节点)

  • vim /etc/hosts

ssh 免密登录（两个name节点）

ssh-keygen -trsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys root@dm-inc-fin-1:~/.ssh/
scp ~/.ssh/authorized_keys root@dm-inc-fin-2:~/.ssh/
scp ~/.ssh/authorized_keys root@forecastdatamind:~/.ssh/

centos 7.3 准备及基础配置 jdk （所有节点）

  • 源配置 -- https://blog.csdn.net/inslow/article/details/54177191
  • jdk安装
    • 进入centos 在home 目录执行 wget --no-cookies \ --no-check-certificate \ --header "Cookie: oraclelicense=accept-securebackup-cookie" \ https://download.oracle.com/otn-pub/java/jdk/8u201-b09/42970487e3af4f5aa5bca3f542482c60/jdk-8u201-linux-x64.tar.gz \ -O jdk-8-linux-x64.tar.gz
    • 或者直接 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载 , 放入docker共享目录
    • yum install tar
    • mkdir /opt/java
    • mv /home/jdk-8u201-linux-x64.tar.gz /opt/java
    • tar -zxvf jdk-8u201-linux-x64.tar.gz
    • ln -s jdk1.8.0_201/ jdk8
    • 环境变量设置：
      • sudo vim /etc/profile
      • export JAVA_HOME=/opt/java/jdk8 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
      • source /etc/profile
      • java -version

安装 MySQL JDBC 驱动(所有节点)

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz
tar xf mysql-connector-java-5.1.46.tar.gz

mkdir -p /usr/share/java/
cd mysql-connector-java-5.1.46
cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

添加mysql 配置(namenode节点）

  • https://www.cloudera.com/documentation/enterprise/latest/topics/install_cm_mariadb.html
  • yum -y install psmisc MySQL-python at bc bind-libs bind-utils cups-client cups-libs cyrus-sasl-gssapi cyrus-sasl-plain ed fuse fuse-libs httpd httpd-tools keyutils-libs-devel krb5-devel libcom_err-devel libselinux-devel libsepol-devel libverto-devel mailcap noarch mailx mod_ssl openssl-devel pcre-devel postgresql-libs python-psycopg2 redhat-lsb-core redhat-lsb-submod-security x86_64 spax time zlib-devel
  • sudo yum install mariadb-server
  • vim /etc/my.cnf
https://www.cloudera.com/documentation/enterprise/latest/topics/install_cm_mariadb.html

innodb_buffer_pool_size = 4G  ==>128m
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
#innodb_log_file_size = 512M    ==32m
  • 启动数据库
    • systemctl enable mariadb
    • systemctl start mariadb
    • vim /etc/rc.local 添加启动命令
  • 初始化数据库

    • /usr/bin/mysql_secure_installation * 问题：ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)

      • /etc/my.cnf 配置 [mysqld]下 添加 skip-grant-tables * 出问题看日志： tail -n500 /var/log/mariadb/mariadb.log * 问题：Error: log file ./ib_logfile0 is of different size 0 5242880 bytes

      • innodb_log_file_size = 256M 注释

    • 账号密码：root/root123456

使用root登陆数据库，创建以下数据库和账号。

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY '!dtmind&123';
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY '!dtmind&123';
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY '!dtmind&123';
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY '!dtmind&123';
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY '!dtmind&123';
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY '!dtmind&123';
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY '!dtmind&123';
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY '!dtmind&123';
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY '!dtmind&123';

flush privileges;

cdh manager 安装

文件拷贝

  • namenode : /home/datamind/cdh
    • 全部文件
  • datanode: /home/datamind/cdh
    • cloudera-manager-agent,cloudera-manager-daemons,cloudera-manager.repo (其他节点)
    • scp cloudera-manager-daemons-6.2.1-1426065.el7.x86_64.rpm root@viya01:/home/datamind/cdh
    • scp cloudera-manager-agent-6.2.1-1426065.el7.x86_64.rpm root@viya01:/home/datamind/cdh
    • scp cloudera-manager.repo root@viya01:/home/datamind/cdh
安装 CM Server 和 Agent
namenode
  • mkdir /opt/cloudera-manager/
  • cp cloudera-manager.repo /etc/yum.repos.d/
  • yum search cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
  • rpm --import https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/RPM-GPG-KEY-cloudera
  • //yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
  • yum -y install cyrus-sasl-gssapi bind-utils psmisc libxslt cyrus-sasl-plain openssl cyrus-sasl-gssap fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libpq.so.5
  • rpm -ivh cloudera-manager-daemons
  • rpm -ivh cloudera-manager-agent
  • rpm -ivh cloudera-manager-server
设置 Cloudera Manager 数据库
  • /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm * !dtmind&123

配置CDH的软件包 parcels(namenode01)

  • 拷贝 CDH-6.2.1-el7.parcel ==》 /opt/cloudera/parcel-repo
  • //拷贝 CDH-6.2.1-el7.parcel.sha256 ==》 /opt/cloudera/parcel-repo
  • 拷贝 manifest.json ==》 /opt/cloudera/parcel-repo
  • mv CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel manifest.json /opt/cloudera/parcel-repo/
  • 重要，不然选择不到版本，接下来打开manifest.json文件，里面是json格式的配置，我们需要的就是与我们系统版本相对应的 hash码， 
    •  "hash": "e3b31081a200ee9ee10aa64e48a0a3d62b25a7b1",
  "parcelName": "CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel",
  "replaces": "IMPALA, SOLR, SPARK, KAFKA, IMPALA_KUDU, KUDU, SPARK2"
    • echo "e3b31081a200ee9ee10aa64e48a0a3d62b25a7b1" > CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha
    • chown cloudera-scm.cloudera-scm /opt/cloudera/parcel-repo/*

启动 cm (namenode - viya02)

  • vim /etc/cloudera-scm-agent/config.ini
    • server_host = viya02
  • systemctl start cloudera-scm-server
  • systemctl status cloudera-scm-server
  • tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
  • 问题： Loaded: loaded (/usr/lib/systemd/system/cloudera-scm-server.service; enabled; vendor preset: disabled)
    • journalctl -n 20 查看service启动日志 Cloudera Manager requires Oracle JDK 1.8 or later.
    • journalctl -f
  • scp oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm root@172.17.0.2:/home
  • rpm -ivh oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm

slave1-3

  • cdh源配置 * mkdir /opt/cloudera-manager/ * cp cloudera-manager.repo /etc/yum.repos.d/ * yum -y install cyrus-sasl-gssapi bind-utils psmisc libxslt cyrus-sasl-plain openssl cyrus-sasl-gssap fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libpq.so.5 * rpm -ivh cloudera-manager-daemons-6.2.1 * rpm -ivh cloudera-manager-agent-6.2.1 * vim /etc/cloudera-scm-agent/config.ini 修改server_host * jdk安装 * docker-machine ssh default * scp oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm root@172.17.0.2:/home * rpm -ivh oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm

通过网页安装

  • 选择CDH版本这里会显示你放在/opt/cloudera/parcel-repo/下的parcel包，若未显示
  • org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /tmp. Name node is in safe mode.*
HDFS 根目录 /data/hbase

DataNode 数据目录 /data/dfs/dn

NameNode 数据目录 /data/dfs/nn

HDFS 检查点目录 /data/dfs/snn

Hive 仓库目录 /data/user/hive/warehouse

ShareLib 根目录 /data/user/oozie

NodeManager 本地目录 /data/yarn/nm

端口页面

  • cdh 安装页面：http://172.19.48.189:7180/cmf/login

  • 安装过程中如果遇到：/opt/cloudera/parcels/CDH-5.8.2-1.cdh5.8.2.p0.3/meta/parcel.json 文件无法找到 sudo /bin/systemctl stop cloudera-scm-agent sudo rm /var/lib/cloudera-scm-agent/* sudo /bin/systemctl start cloudera-scm-agent

  • 主机运行状况不良 cd /var/lib/cloudera-scm-agent/ rm -rf cm_guid service cloudera-scm-agent restart

  • 某几台机器无法发布parecle , 已分配，/opt/cloudera/parcels没有内容

    • tail -n400 /var/log/cloudera-scm-agent/cloudera-flood.log
    • tail -n500 /var/log/cloudera-scm-agent/cloudera-scm-agent.log
      • host名称配错了

运行测试

  • spark-shell:
    • Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x * usermod -s /bin/bash hdfs
    • adduser hdfs 用hdfs账号登录

hive 测试

  • Given NMToken for application : appattempt_1556161534641_0003_000002 is not valid for current node manager.expected : slave2:8041 found : slave1:8041
    • ip改变了，对不上
CREATE  TABLE test (   id int) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','  ;

insert into test values(1);

web页面

单独升级spark

  • https://blog.csdn.net/Abysscarry/article/details/79550746
  • https://docs.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html
  • https://docs.cloudera.com/documentation/spark2/latest/topics/spark2_packaging.html#versions
    • SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1
    • SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel
    • manifest.json
  • /opt/cloudera/csd
    • cp SPARK2_ON_YARN-2.4.0.cloudera2.jar /opt/cloudera/csd/SPARK2_ON_YARN-2.4.0.cloudera2.jar
    • chown cloudera-scm /opt/cloudera/csd/SPARK2_ON_YARN-2.4.0.cloudera2.jar
    • chgrp cloudera-scm /opt/cloudera/csd/SPARK2_ON_YARN-2.4.0.cloudera2.jar
    • 然后将CSD的jar包放在集群所有机器的该目录，并修改文件所属用户和组（注意如果本目录下有其它jar包，请删掉或者移到其他目录）
  • /opt/cloudera/parcel-repo
    • mv manifest.json manifest.json.old
    • SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1
    • SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel
    • manifest.json
    • 去掉 SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcel.sha1 后面的1
      • mv SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1 SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha
    • systemctl restart cloudera-scm-server
    • systemctl restart cloudera-scm-agent
github_28583061
关注
在 阿里云ECS 上安装 CDH6.2 standalong
weixin_38173265的博客
01-07 1356
CDH 6.2 在阿里云上离线安装，standalone
CDH 5.15.2集群搭建(基于阿里云)
李玉坤的博客
02-22 2428
文章目录软件版本Cloudera Manger 架构虚拟机设置Step1:安装虚拟机（阿里云忽略此步骤）Step2:设置网络（针对自己搭建的虚拟机）Step3:设置hosts(后续操作均以root用户执行)Step4:关闭SELinux及防火墙（阿里云机器忽略此步骤）Step5: 设置ssh免密登录Step6: 设置ntp时间同步服务（阿里云无需同步） 软件版本 操作系统：centos 7.5 6...
cdh 阿里云安装
github_28583061的博客
05-27 336
集群安装(cdh 6.2.1) cdh 安装 https://blog.csdn.net/u010003835/article/details/85007946 CDH6.1.0离线安装部署 https://blog.csdn.net/xsjzdrxsjzdr/article/details/86064094 https://www.cloudera.com/documentation/...
3台阿里云ECS安装CDH大数据集群过程（CentOS7.4+独立数据盘）
weixin_33881041的博客
07-19 926
为什么80%的码农都做不了架构师？>>> ...
基于阿里云的CDH集群安装
qq_16906867的博客
11-02 976
因为公司数据过多，单纯使用MySQL已经无法完成业务需求，现需要搭建一套基于阿里云的CDH大数据集群平台，由于现阶段CDH已经不再维护，所以若使用在生产环境中，需要警惕一定的安全攻击。
CDH的安装和使用
12-08
CDH（Cloudera's Distribution Including Apache Hadoop）是Cloudera公司基于Apache Hadoop搭建的企业级大数据平台解决方案，提供了用户友好的界面以及多种管理工具，能够有效地简化Hadoop生态圈的安装和维护过程。...
搭建CDH 阿里云 (Step 1: 启动hdfs)
xw514124202的博客
08-04 2035
准备动作 在阿里云申请三台机器(Centos) 安装Oracle JDK 在阿里云申请三台机器(Centos) PS. 内存要大于4g，因为namenode启动的时候内存需要 在每一台机器上配置域名 vim /etc/hosts 172.24.218.96 worker1 172.24.218.97 worker2 172.24.218.98 worker3...
CDH6.3.2安装包下载
10-12
CDH6.3.2安装包下载，最后一个免费的版本，已经在生产环境实践安装过，集群环境是3台阿里云ECS，12C48G，1TB ESSD云盘
阿里云安装CDH6.3.2并集成flink1.12
weixin_44067108的博客
11-03 2600
1.购买阿里云服务器 可使用抢占实例的服务器，一天几块钱（按小时使用时长收费）但是服务器但是有百分之0-3的回收率 选择4核16GB的服务器，通用型g5最便宜所以选择这个 选择无确定使用时长。三台实例，镜像选择centos7.5，硬盘40GB 选择交换机所在地址，宽带峰值可自由调配，毕竟按流量收费 下一步确定订单 购买完成 8毛钱一个小时 在控制台看到服务器 ...
(超详细)安装CDH6.3.2和Cloud Manager
最新发布
lmh1181243468的博客
04-21 2507
由于公司目前所用的自动化管理工具使用的是CDH的收费版本，为了刚好对cdh这类软件运维工具有深刻理解，所以自己搭建了一套基于免费开源CDH 6.3.2版本的集群；Cloudera版本（，简称CDH），基于Web的用户界面,支持大多数Hadoop组件，包括HDFSMapReduceHivePigHBaseZookeeperSqoop，简化了大数据平台的安装、使用简单。管理：对集群进行管理，如添加、删除节点等操作。监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。
搭建CDH 阿里云 (Step 2: 启动yarn)
xw514124202的博客
08-04 733
Yarn HA 文档 Yarn HA 文档 配置 Yarn 分配集群资源 文档地址 yarn-site.xml 配置 <!-- Base Configs --> <property> <description>Classpath for typical applications.</description&gt
阿里云 CDH 安装过程遇到的坑
qq_40337206的博客
08-08 359
mysql安装个别文件找不到 上面操作之前先切换到 /usr/local/ 目录 cd /usr/local/ CDH Mysql数据库 JDBC driver cannot be found. 后来在网上找到需要将这个包放到这个路径下就通过了（名字需要修改下） mv mysql-connector-java-5.1.47.jar mysql-connector-java.jar /us...
阿里云centos7.8安装cdh6.3.1完整攻略
彬正的博客
11-12 778
1.准备4台阿里云云服务器 修改/etc/hostname和/etc/hosts 重启4台机器 2.配置4台服务器ssh免密码登录 ssh-keygen -t rsa 修改authorized_keys的权限：chmod 600 ~/.ssh/authorized_keys 3.安装ntp：所有节点 yum install ntp -y # 开机启动 chkconfig ntpd on # 启动ntp service ntpd start 4.修改文件打开限制：所有节点 echo "..
CDH镜像&恢复&卸载
大门的博客
12-24 435
1.CDH镜像 1.1.关闭CMS服务 在cdh的web界面暂停Cluster 1 在cdh的web界面暂停CMS 1.2.关闭所有节点的agent [root@hadoop001 cdh5.16.1]# /opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent stop Stopping cloudera-scm-agent:...
CDH数仓项目(一) —— CDH安装部署搭建详细流程
不以物喜的博客
01-27 3147
CDH数仓项目——基于CDH搭建数据仓库
An SSH installation couldn‘t be found
weixin_43742643的博客
07-29 881
vscode 安装 openssh 插件，明明电脑上已安装 ssh，但左侧不显示图标而且报错如下 An SSH installtion couldn't be found 方法是打开 openssh 插件设置，在 Remote.SSH: Path 填上 ssh.exe 的绝对路径
【阿里云 CDP 公开课】 第二讲：CDH/HDP 何去何从
阿里云云栖号
12-29 2078
简介：Hadoop社区版CDH/HDP已经不再更新，也将终止服务。后续的平台路线图怎么规划？Cloudera CDP整合了CDH和HDP，有哪些性能提升和功能增强？如何平滑的进行迁移？本文结合CDH/HDP平台现状，详细介绍了CDP以及如何到达CDP。 本期导读 ：【阿里云 CDP 公开课】第二讲 主题：CDH/HDP 何去何从 讲师：王雪峰，Cloudera 生态资深解决方案工程师 内容框架： CDH/HDP 平台现状 为什么选择 CDP 怎么到达 CDP CDP 测试验证和使用 直播回放
在阿里云服务器ECS上用Cloudera搭建集群（随记）
wangzhanxidian的博客
06-30 2025
阿里云购买的三台机器，学习用的，所以基本上资源都是按最低买的，按流量时长计费，也花不了多少钱，并且一个账户下的机器不用配置，直接能ping通 三台机器Slave2是我最早买的，安装的环境都是是 CentOS 7.3 64位 修改主机名 hostnamectl set-hostname master hostnamectl set-hostname slave1 hos
阿里云主机Hadoop-HA集群搭建步骤(详细)
yoohhwz的博客
08-21 845
环境： 阿里云三台：centos7.2 hadoop-2.6.0-cdh5.15.1.tar.gz jdk-8u45-linux-x64.gz zookeeper-3.4.6.tar.gz 先在三台机器上分别创建一个hadoop用户，并切换至hadoop用户 [root@hadoop001 ~]# useradd hadoop [root@hadoop002 ~]# useradd hadoop...
尚硅谷大数据项目：CDH数仓搭建与阿里云ECS配置
"CDH平台搭建通过RPM包在阿里云服务器上的实施步骤，包括Cloudera Manager(CM)的介绍、CM架构解析以及阿里云ECS服务器的购买与配置。" 在大数据处理领域，CDH(Cloudera Distribution Including Apache Hadoop)是一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值