CDH及软件安装部署

最新推荐文章于 2024-05-23 17:22:29 发布
最新推荐文章于 2024-05-23 17:22:29 发布
阅读量718 收藏 4
点赞数 1
分类专栏： 数仓 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eraining/article/details/111351953
版权

1. Linux配置优化

1.1 Swappiness虚拟内存

swappiness是Linux的一个内核参数，控制系统在使用swap虚拟内存时，内存使用的相对权重。
swappiness参数值可设置范围在0到100之间。 此参数值越低，就会让Linux系统尽量少用swap虚拟内存分区，多用内存；参数值越高就是反过来，使内核更多的去使用swap空间。推荐设置为10。根据服务器硬件配置会有变化。
临时生效：

sysctl -w vm.swappiness=10

永久生效：

echo "vm.swappiness=10" >> /etc/sysctl.conf

1.2 关闭内存动态分配（内存页透明化）

自CentOS6版本开始引入了Transparent Huge Pages(THP透明的巨大的页面)，从CentOS7版本开始，该特性默认就会启用。
Transparent HugePages是在运行时动态分配内存的，而标准的HugePages是在系统启动时预先分配内存，并在系统运行时不再改变。
因为Transparent HugePages是在运行时动态分配内存的，所以会带来在运行时内存分配延误。
因此，尽管THP的本意是为提升内存的性能，不过某些数据库厂商还是建议直接关闭THP(比如说Cloudera、ORACLE、MariaDB、MongoDB等)，否则可能会导致性能出现下降。
临时生效：

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

永久生效：

echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local
echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local

1.3 最大文件句柄

Maximum File Handles，大数据服务可能会打开非常大量的文件句柄。通过编辑 /etc/security/limits.conf 来增加限制，添加类似的内容：

* hard nofile 50000
* soft nofile 50000

第一行是指定用户，前面的 * 代表所有用户。

1.4 最大派生进程数

Maximum Forked Processes，配置允许生成大量的线程。要增加Linux允许的数量，编辑 /etc/security/limits.conf

* hard nproc 10000
* soft nproc 10000

发行版Linux可能需要通过添加来编辑 /etc/security/limits.d/20-nproc.conf

* soft nproc 10000

1.5 TCP Socket端口数

增加可用的TCP套接字端口数(Increase the number of TCP socket ports available)，如果你的流程会在很短的时间内创建并拆除大量socket，这一点尤为重要。

sudo sysctl -w net.ipv4.ip_local_port_range ="10000 65000"

1.6 缩减Socket闲置时间

socket连接闲置太长时间会影响并发量，设置socket在保持TIMED_WAIT状态的时间，能够快速创建和销毁新socket。

sudo sysctl -w net.ipv4.netfilter.ip_conntrack_tcp_timeout_time_wait ="1"

1.7 提高IO性能

默认的方式下linux会把文件访问的时间atime做记录，文件系统在文件被访问、创建、修改等的时候记录下了文件的一些时间戳，比如：文件创建时间、最近一次修改时间和最近一次访问时间；这在绝大部分的场合都是没有必要的。
因为系统运行的时候要访问大量文件，如果能减少一些动作（比如减少时间戳的记录次数等）将会显著提高磁盘 IO 的效率、提升文件系统的性能。
如果遇到机器IO负载高或是CPU WAIT高的情况，可以尝试使用noatime和nodiratime禁止记录最近一次访问时间戳。你会发现吞吐量有惊人的提高。
比如我要在根文件系统使用noatime，可以编辑/etc/fstab文件，如下：

/dev/mapper/centos-root /      xfs     defaults,noatime        0 0
UUID=47f23406-2cda-4601-93b6-09030b30e2dd /boot     xfs     defaults        0 0
/dev/mapper/centos-swap swap     swap    defaults        0 0

修改后重新挂载

mount -o remount /
或者
mount -o remount /boot

2. 安装Server和Agent

2.1 安装Server服务

此步骤仅在第一台服务器安装。

yum install -y oracle-j2sdk1.8-1.8.0+update181-1.x86_64
yum install -y enterprise-debuginfo-6.2.1-1426065.el7.x86_64
yum install -y cloudera-manager-server-6.2.1-1426065.el7.x86_64
yum install -y cloudera-manager-server-db-2-6.2.1-1426065.el7.x86_64

注意：如果在yum源中添加了新的包时：
1.需要删除之前的repodata文件后，重新生成；
2.重启httpd服务
3.清除yum缓存 yum clean all
在这里插入图片描述

2.2 设置元数据库为mysql

设置元数据库为mysql–前提是安装ClouderaManager Server服务

/opt/cloudera/cm/schema/scm_prepare_database.sh -h localhost mysql scm root 123456

旧版本CM：

/usr/share/cmf/schema/scm_prepare_database.sh -h localhost mysql scm root 123456

如果提示ERROR JDBC Driver com.mysql.jdbc.Driver not found，需要上传mysql驱动包jar到/opt/cloudera/cm/lib目录下。
在这里插入图片描述
Mysql驱动在这里插入图片描述
查看：cat /etc/cloudera-scm-server/db.properties
在这里插入图片描述

2.3 启动server服务进程（查看7180端口）

启动：

systemctl start cloudera-scm-server

查看server启动日志：

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

日志配置信息：/etc/cloudera-scm-server/log4j.properties
Agent日志目录：/var/log/cloudera-scm-agent/cloudera-scm-agent.log

查看启动状态：

systemctl status cloudera-scm-server

在这里插入图片描述
#查看端口号是否已经运行

netstat -an | grep 7180

在这里插入图片描述

2.4 配置本地parcel包

注意：必须要在数据库初始化后，将parcel文件放置到/opt/cloudera/parcel-repo目录中。

  1. 上传cdh6的parcel等文件到opt/cloudera/parcel-repo
  2. 重命名密钥文件名
mv CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1 CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha

在这里插入图片描述
资料文件：
在这里插入图片描述

2.5 开始安装

访问Server：http://hadoop01:7180/cmf/login
账号密码均为admin
在这里插入图片描述
登录后，先不要安装，先返回首页：
在这里插入图片描述
先设置Parcel 更新频率：
在这里插入图片描述
修改为1分钟：
在这里插入图片描述
如果目录下已经有了后缀为torrent的文件，则证明识别成功：
在这里插入图片描述
然后重新进入添加集群页面：
在这里插入图片描述
下一步：
在这里插入图片描述
选择免费版本的ClouderaManager：
在这里插入图片描述
设置集群名称：
在这里插入图片描述
选择安装的服务器：
在这里插入图片描述
选择存储库：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
运行安装：
在这里插入图片描述
在这里插入图片描述
测试网络和主机：
在这里插入图片描述
查看检查结果：
在这里插入图片描述
如果有问题，就需要修复后再继续
在这里插入图片描述
图中显示的问题，就是下一步要处理的，swappiness和透明化。

2.6 swappiness和透明化

临时生效：

sysctl -w vm.swappiness=10
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

永久生效：

echo "vm.swappiness=10" >> /etc/sysctl.conf
echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local
echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local

2.7 继续创建集群

然后回到刚才的安装页面，选择继续创建集群：
在这里插入图片描述
安装成功，返回首页查看主机：
在这里插入图片描述

2.8 添加第二台主机

在这里插入图片描述
添加第二台服务器节点：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
运行检查后，对hadoop02节点也要执行swappiness和透明化操作。然后继续下一步：
在这里插入图片描述
添加新节点完成：
在这里插入图片描述

3. 添加监控Service

3.1.1 功能

Cloudera Management Service可作为一组角色实施各种监控管理
1．Activity Monitor：收集关于MapReduce服务运行的活动的信息。默认情况下不添加此角色，实际生产环境也是不需要的。
2．Host Monitor：收集有关主机的运行状况和指标信息。
3．Service Monitor：从YARN和Impala服务中收集关于服务和活动信息的健康和度量信息。
4．Event Server：聚合组件的事件并将其用于警报和搜索。
5．Alert Publisher ：为特定类型的事件生成和提供警报，实际情况下用的也少。

3.1.2 安装

  1. 开始添加
    在这里插入图片描述
  2. 自定义角色分配服务器
    在这里插入图片描述
  3. 分配权限后继续
mkdir -p /var/lib/cloudera-host-monitor
mkdir /var/lib/cloudera-service-monitor
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-host-monitor chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-service-monitor/

在这里插入图片描述
4. 开始安装
在这里插入图片描述
5. 可以看到报警信息
在这里插入图片描述
6. 经过一段时间后，可以看到这段时间内的服务器监控信息
在这里插入图片描述

4. 添加大数据组件

4.1 添加HDFS服务

  1. 点击添加
    在这里插入图片描述
  2. 选择HDFS
    在这里插入图片描述
  3. 自定义角色分配服务器
    在这里插入图片描述
  4. 审核更改使用默认配置下一步
    略
  5. 运行安装命令
    在这里插入图片描述
  6. 等待完全启动
    安装以后，会有一些异常信息，这是还没有完全启动，需要等待一段时间。
    在这里插入图片描述
  7. 抑制无关紧要的警告信息
    在这里插入图片描述
  8. HDFS配置项dfs.permissions，改为false，否则会因为权限问题不能再hdfs中创建目录和文件。
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=admin, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:400)

在这里插入图片描述
在这里插入图片描述
设置后需要重启服务
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
9. 关闭safemode模型

#查看当前的safemode状态
hdfs dfsadmin -safemode get
#关闭safemode
hdfs dfsadmin -safemode leave
  1. 查看Hadoop WebUI
    在这里插入图片描述
    在这里插入图片描述
  2. 测试HDFS
hdfs dfs -mkdir /test

4.2 添加Yarn服务

  1. 添加服务
    在这里插入图片描述
    在这里插入图片描述
  2. 角色分配服务器
    在这里插入图片描述
  3. 使用默认配置
    在这里插入图片描述
  4. 运行安装命令
    在这里插入图片描述
  5. 对于无用的警告可以压制掉
    在这里插入图片描述
  6. 测试
#新建一个文本文件
vim testinput.txt

在这里插入图片描述

#创建HDFS目录
hadoop fs -mkdir /input

在这里插入图片描述

#上传文件到HDFS
hadoop fs -put /home/hadoop/data/testiinput.txt /input

在这里插入图片描述

#运行WordCount
yarn jar /opt/cloudera/parcels/CDH/jars/hadoop-mapreduce-examples-3.0.0-cdh6.2.1.jar wordcount /input /output

在这里插入图片描述

#执行结束后，查看输出目录
hadoop fs -ls /output

在这里插入图片描述

#查看输出结果
hadoop fs -cat /output/part-r-00000

在这里插入图片描述

4.3 添加Zookeeper服务

  1. 添加
    在这里插入图片描述
  2. 自定义角色服务器
    在这里插入图片描述
  3. 如果有异常报警，请等待一段时间完全启动后再刷新看看
    在这里插入图片描述
    在这里插入图片描述

4.4 添加Hive服务

  1. 添加服务
    在这里插入图片描述

  2. 选择依赖
    在这里插入图片描述

  3. 自定义角色分配服务
    在这里插入图片描述

  4. 设置元数据库
    在这里插入图片描述

  5. 点击测试连接
    在这里插入图片描述
    提示ERROR JDBC Driver com.mysql.jdbc.Driver not found.
    需要上传mysql驱动包jar到/opt/cloudera/cm/lib目录下。

  6. 继续测试
    在这里插入图片描述
    提示：java.lang.ClassNotFoundException: com.mysql.jdbc.Driver。
    需要先创建数据库：

mysql -uroot -p
create database hive;
  1. 测试通过
    在这里插入图片描述
  2. 审核更改
    在这里插入图片描述
  3. 运行命令
    发现报错
    在这里插入图片描述
    点击stderr查看报错详情
    在这里插入图片描述
    提示：java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
    之前是CM找不到驱动，现在是Hive找不到mysql驱动：
cp /opt/cloudera/cm/lib/mysql-connector-java-5.1.40.jar /opt/cloudera/parcels/CDH/lib/hive/lib/
  1. 完成安装
    在这里插入图片描述
  2. 查看HiveServer2 Web UI
    在这里插入图片描述
  3. 验证Hive是否可用
hive
select from_unixtime(1583781807, 'yyyy-MM-dd');

在这里插入图片描述

4.5 添加Oozie服务

  1. 添加服务
    在这里插入图片描述
  2. 选择依赖
    在这里插入图片描述
  3. 分配服务器
    在这里插入图片描述
  4. 设置元数据库
    先在mysql中创建数据库
mysql -uroot -p
create database oozie;

然后配置并测试连接：
在这里插入图片描述
5. 运行安装命令
在这里插入图片描述
提示：java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
需要复制驱动jar：

cp /opt/cloudera/cm/lib/mysql-connector-java-5.1.40.jar /opt/cloudera/parcels/CDH/lib/oozie/lib/
cp /opt/cloudera/cm/lib/mysql-connector-java-5.1.40.jar /var/lib/oozie/

  1. 安装成功
    在这里插入图片描述

4.6 添加Sqoop服务

  1. 添加服务
    虽然现在已经有sqoop2.x版本，但还是推荐大家使用1.x。
    在这里插入图片描述
  2. 角色分配服务器
    在这里插入图片描述
  3. 安装完成
    在这里插入图片描述
    在这里插入图片描述
  4. 测试sqoop
    4.1 创建mysql测试库和表
mysql -uroot -p
create schema test;
create table test
(
	id bigint auto_increment,
	name varchar(127) not null,
	age bigint null,
	class varchar(255) null,
	primary key (id)
);

4.2 创建文本文件并上传到HDFS

#创建文件
vim text.txt

leo|12|class1
leo1|13|class2
leo2|14|class3
leo3|15|class4
leo4|16|class5
leo5|17|class6

#上传到HDFS
hdfs dfs -mkdir -p /data/test/
hdfs dfs -put ./test.txt /data/test/
#查看是否上传成功
hdfs dfs -cat /data/test/*

在这里插入图片描述
4.3 执行sqoop命令

sqoop export \
--connect jdbc:mysql://hadoop01:3306/test \
--username root \
--password 123456 \
--table test \
--columns 'name,age,class' \
--export-dir /data/test \
--input-fields-terminated-by '|' \
--num-mappers 1

4.4 发现报错，缺少驱动
在这里插入图片描述
复制驱动，然后重试sqoop脚本：

cp /opt/cloudera/cm/lib/mysql-connector-java-5.1.40.jar /opt/cloudera/parcels/CDH/lib/sqoop/lib/

4.4 查看mysql表是否有数据
在这里插入图片描述

4.7 添加Hue服务

  1. 添加服务
    在这里插入图片描述
  2. 选择依赖
    在这里插入图片描述
  3. 分配服务器
    在这里插入图片描述
  4. 创建元数据库
mysql -uroot -p
create database hue default character set utf8 collate utf8_general_ci;
  1. 数据库设置并测试连接
    在这里插入图片描述
  2. 成功
    在这里插入图片描述
  3. 访问WEB UI
    在这里插入图片描述
  4. 成功（端口：8889）
    在这里插入图片描述

5. 添加新服务器

  1. 启动新的服务器
    在这里插入图片描述
  2. 配置host 和 ip
vim /etc/hosts
192.168.52.150 hadoop01
192.168.52.151 hadoop02
192.168.52.152 hadoop03
192.168.52.153 hadoop04
  1. 安装依赖包
yum install -y cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse-libs bind-utils libxslt fuse
yum install -y /lib/lsb/init-functions createrepo deltarpm python-deltarpm
yum install -y mod_ssl openssl-devel python-psycopg2 MySQL-python

  1. 关闭防火墙
    查看防火墙状态： systemctl status firewalld.service
    绿的running表示防火墙开启
    执行关闭命令： systemctl stop firewalld.service
    再次执行查看防火墙命令：systemctl status firewalld.service
    执行开机禁用防火墙自启命令 ： systemctl disable firewalld.service

  2. 关闭selinux

#临时生效
setenforce 0

#永久生效
#将SELINUX=enforcing改为SELINUX=disabled
vim /etc/selinux/config

在这里插入图片描述

#在配置文件中第一次设置时需要重启服务器
reboot
  1. 确保第一台主机的httpd服务正常使用
#查看当前状态
systemctl status httpd.service

在这里插入图片描述

#启动
systemctl start httpd.service

确保访问正常
在这里插入图片描述
7. 配置本地yum源

cd /etc/yum.repos.d/
vim cloudera-manager.repo

[cloudera-manager]
name=Cloudera Manager
baseurl=http://hadoop01/cm6/6.2.1/redhat7/yum/
gpgcheck=0
enabled=1

yum clean all
	yum list | grep cloudera

在这里插入图片描述
8. 创建cloudera-scm用户

useradd cloudera-scm
passwd cloudera-scm
test123456
#免密钥登录
echo "cloudera-scm ALL=(root)NOPASSWD:ALL" >> /etc/sudoers
su - cloudera-scm
exit
  1. 使用CM添加新主机
    9.1 添加新主机
    在这里插入图片描述
    9.2 使用原来的集群
    在这里插入图片描述
    9.3 搜索选择服务器
    在这里插入图片描述
    9.4 选择存储库
    在这里插入图片描述
    9.5 安装JDK
    在这里插入图片描述
    9.6 root登录凭据
    在这里插入图片描述
    9.7 开始安装
    在这里插入图片描述
  2. 检查主机正确性
    在这里插入图片描述
  3. 修复监测问题
    临时生效：
sysctl -w vm.swappiness=10
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

永久生效：

echo "vm.swappiness=10" >> /etc/sysctl.conf
echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local
echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local

然后回到刚才的安装页面，选择继续创建集群：
在这里插入图片描述
安装成功，返回首页查看主机：
在这里插入图片描述
12. 针对已安装的不同服务，添加新服务器的角色实例
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

erainm
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
cdh6.2.0环境搭建
yuyedewutong的博客
04-02 450
CDH搭建 一、环境构建 1、下载软件 cdh下载：https://archive.cloudera.com/cdh6/6.2.0/parcels/ cm下载：https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/ cm的key下载：https://archive.cloudera.com/cm6/6.2.0/ 备注：cent...
CDH-Cloudera Manager API 详解
zcs2312852665的博客
01-12 1243
Cloudera Manager是一个用于管理和监控Hadoop集群的强大工具。它提供了一套REST API，使用户能够通过编程方式与Cloudera Manager进行交互，并执行各种操作，如创建集群、添加服务、配置角色等。
CDH 6.3.2安装部署（超详细）
最新发布
2201_75470972的博客
05-23 2191
超级详细的cdh6.3.2安装部署教程
CDH6.3.1安装
Allenzyg的博客
05-28 5683
CDH6.3.1安装遇到很多问题，我想主要是由于条件有限，毕竟自己的电脑内存不如专业集群的内存大（如果是内存和硬盘充足，有些是可以避免的，甚至不会出现报错的情况），这里就介绍一下我用VMware安装的虚机中搭建CDH集群的辛酸历程。为了避免多次、重复安装不成功，所以需要具备以下条件： 1. 内存要足够大 我的电脑内存是8G： 使用虚拟机安装 Cloudare server：4G Cloudare agent：分别为1G 电脑最后很卡，而且内存98%。 官方推荐最小内存为10G，所以最好还是听从官方的建...
【译】Cloudera Manager（CDH）入门系列之一 （概述）
weixin_34192993的博客
09-29 868
Cloudera Manager 是一个端到端用于管理CDH集群的程序。Cloudera Manager提供了CDH群集很多细节的可视化和控制，因此它为企业化部署提供了一个标准。它使得企业能够高效、合理地管理集群。使用Cloudera Manager，用户可以轻松部署和集中操作完整的CDH堆栈和其他托管服务。这个程序可以自动地安装相关服务，将部署时间大大缩短。它为您提供运行主机和服务的集群范围的...
cloudera-manager.repo https问题
真正的才智是刚毅的志向
08-10 2435
故障现象： 内部网络安装过程中报如下错误： https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.13.3/repodata/repomd.xml: [Errno 14] Peer cert cannot be verified or peer cert invalid Trying other mirror. Error: Canno...
CDH6.3.2集群部署手册
03-26
它涵盖了各种方面，包括硬件和软件要求、环境准备、安装CDH服务和组件、配置集群、启动服务、故障排除等内容。通过按照手册提供的步骤逐步操作，用户可以顺利地搭建一个稳定、可靠的CDH集群，用于其大数据处理和分析...
Redhat7.6安装CDH6.3.3.pdf
11-16
在本文中，我们将深入探讨如何在Redhat 7.6系统上安装和部署CDH 6.3.3，这是一个用于大数据处理的Cloudera Data Hub平台。CDH是Cloudera公司提供的一个开源大数据套件，包含Hadoop、Hive、HBase等组件，为企业提供...
CDH6.3.2离线部署资源文件005
05-22
2021年2月份开始Cloudera全面下架了免费的安装包下载渠道，因未订阅授权的用户无法使用CDH6.3.3和之后的版本，故整理6.3.2版本的CDH离线部署文件，以供分享。之所以拆分成5个包，是因为CSDN不允许上传大于1000M的...
CDH6.3.2离线部署资源文件004
05-22
2021年2月份开始Cloudera全面下架了免费的安装包下载渠道，因未订阅授权的用户无法使用CDH6.3.3和之后的版本，故整理6.3.2版本的CDH离线部署文件，以供分享。之所以拆分成5个包，是因为CSDN不允许上传大于1000M的...
CDH6.3.2离线部署资源文件003
05-22
2021年2月份开始Cloudera全面下架了免费的安装包下载渠道，因未订阅授权的用户无法使用CDH6.3.3和之后的版本，故整理6.3.2版本的CDH离线部署文件，以供分享。之所以拆分成5个包，是因为CSDN不允许上传大于1000M的...
CDH Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10
80后大叔爱学习
10-22 1234
echo "vm.swappiness=10" >> /etc/sysctl.conf sysctl -p
ClouderaManager管理平台搭建(CDH6.2.1)
CDHong.it的技术分享博客
05-18 1458
CM 简介 Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。 CM 架构 CM部署准备配置 下载 CDH6-CentOS7 离线软件安装包 下载 CM6-CentOS7 集群安装软件包 使用 VMware 克隆三台机器，分别修改对应的 IP 及 主机名，使用 MobaXterm 连接测试。 主机名 IP地址 内存 硬盘 CUP 服务进程
cloudera manager整体介绍
02-09 1万+
体系架构 Cloudera Manager的核心是Cloudera Manager Server。Server托管Admin Console Web Server和应用程序逻辑。它负责安装软件、配置、启动和停止服务以及管理运行服务的群集。 解释： Agent：安装在每台主机上。它负责启动和停止进程，解压缩配置，触发安装和监控主机 Management Service：执行各种监控、报...
cloudera manager的agent安装时候 出现的问题
xiaoyutongxue6的博客
10-24 1万+
/tmp/scm_prepare_node.K0tOAFSy  using SSH_CLIENT to get the SCM hostname: 10.221.5.140 33607 22  opening logging file descriptor  正在启动安装脚本... 正在获取安装锁... BEGIN flock 4 END (0)  正在检测根权限... effectiv...
CentOS7离线安装Cloudera Manager 5.14.1
热门推荐
chenhai201的博客
02-22 2万+
前言 本文主要记录Centos7.4 离线安装CDH和Cloudera Manager。安装的版本为Cloudera Manager 5.14.1，如遇不同版本，安装方式大致相同。 内容 版本 CentOS 7.4 64位 JDK 1.7 Cloudera Manager 5.14.1 本次安装一共使用6台服务器，均在阿里云采用按量付...
如何获取CDH 嵌入式postgresql数据库的 cloudera-scm 密码
wtjmgj的博客
10-08 799
Get the cloudera-scm password in this file: cat /var/lib/cloudera-scm-server-db/data/generated_password.txt 具体内容参考附件文件
cloudera-scm-service 已死，但 pid 文件存在的解决办法
lwz18642660013的博客
02-04 1077
查阅了网上的解决方式，大致有两种情况，分别如下 1.删除对应的pid文件，我的目录为/opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-server.pid（即安装目录下的run/目录下） 注：这种情况一般是强制关机后服务无法启动，删除掉就可以了，个人理解是异常关机时，服务未关闭，导致对应的pid文件没能被删除，从而导致的无法启动 2.执行以下语句，cdh1是主机名，对应的切换成自己的mysql节点主机名即可。 /opt/cloudera-manager
CDH - CDH 最新版本 6.0.1 安装详解。超详细，并有各种问题解决方法
迎难而上
12-14 2万+
参考文章 ：  官方文档  https://www.cloudera.com/documentation/enterprise/6/6.0/topics/installation.html   CDH常见问题及解决方法（待续） https://blog.csdn.net/qq_24699959/article/details/80310070 CDH 6.0.1 集群搭建 「Proc...
Cloudera Manager CDH 5.12部署安装
08-30
CDH部署安装文档，纯手敲非复制，有截图，一看就懂

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

erainm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值