五、CDH5.16.2集群之集群的安装配置

最新推荐文章于 2024-05-17 09:32:21 发布
最新推荐文章于 2024-05-17 09:32:21 发布
阅读量631 收藏 3
点赞数
分类专栏： # Hadoop安装 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XuanAlex/article/details/106082282
版权

说明：

  1. 【一、CDH5.16.2集群之VMware-workstation-14安装】
  2. 【二、CDH5.16.2集群之三台虚拟机安装】
  3. 【三、CDH5.16.2集群之三台虚拟机配置网络配置】
  4. 【四、CDH5.16.2集群之XShell连接虚拟机】

一、集群前期配置

1、安装JAVA（三台虚拟机都执行）
  • 卸载自带的Java
    执行：rpm -qa | grep -i java
    在这里插入图片描述
  • 执行如下命令卸载上图中箭头所指的四个jdk
    rpm -e --nodeps java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64
    rpm -e --nodeps java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64
    rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64
    rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64
    在这里插入图片描述
  • 安装自己下载的Java
  1. 上传下载的Java到目录：/usr/lib/java
  2. 解压Java的tar包
    cd /usr/lib/java
    tar -xzvf jdk-8u172-linux-x64.tar.gz
    在这里插入图片描述
  3. 配置环境变量到文件**/etc/profile**最后
    # Java1.8
    export JAVA_HOME="/usr/lib/java/jdk1.8.0_172"
    JRE_HOME=" J A V A H O M E / j r e " C L A S S P A T H = " . : {JAVA_HOME}/jre" CLASSPATH=".: JAVAH​OME/jre"CLASSPATH=".:{JAVA_HOME}/lib: J R E H O M E / l i b " P A T H = " {JRE_HOME}/lib" PATH=" JREH​OME/lib"PATH="{PATH}: H O M E / b i n : {HOME}/bin: HOME/bin:{JAVA_HOME}/bin"
    export PATH
  4. 生效配置文件：source /etc/profile，并查看Java版本：java -version
    在这里插入图片描述
2、安装NTP，同步时间
  • NTP_Server端设置**（只需在cdh1上操作）**
  1. 安装NTP
    yum install -y ntp ntpdate
  2. 配置ntp.conf
    备份/etc/ntp.conf：
    cp /etc/ntp.conf /etc/ntp.conf_bak
    配置/etc/ntp.conf,添加如下配置：
    # 27.127.1.0 代表自身
    server 127.127.1.0
    fudge 127.127.1.0 stratum 10
    在这里插入图片描述
  3. 设置中国时间
    timedatectl set-timezone Asia/Shanghai
  4. 修改启动参数，增加-g -x参数，允许ntp服务在系统时间误差较大时也能正常工作：
    echo ‘OPTIONS="-x"’ >> /etc/sysconfig/ntpd
  5. 设置为开机自启动
    chkconfig --level 345 ntpd on
  6. 设置为enable
    systemctl enable ntpd
  7. 启动NTP服务
    systemctl start ntpd
  8. 查看NTP服务状态
    systemctl status ntpd
    在这里插入图片描述
  • NTP_Client端设置**（只需在cdh2、cdh3上操作）**
  1. 安装NTP
    yum install -y ntp ntpdate
  2. 配置ntp.conf
    备份/etc/ntp.conf：
    cp /etc/ntp.conf /etc/ntp.conf_bak
    配置/etc/ntp.conf,添加如下配置：
    # NTP_Server的IP地址
    server 192.168.100.101
    在这里插入图片描述
  3. 设置中国时间
    timedatectl set-timezone Asia/Shanghai
  4. 修改启动参数，增加-g -x参数，允许ntp服务在系统时间误差较大时也能正常工作：
    echo ‘OPTIONS="-x"’ >> /etc/sysconfig/ntpd
  5. 设置为开机自启动
    chkconfig --level 345 ntpd on
  6. 设置为enable
    systemctl enable ntpd
  7. 启动NTP服务
    systemctl start ntpd
  8. 查看NTP服务状态
    systemctl status ntpd
    在这里插入图片描述
  • 客户端NTP同步服务器端的时间
  1. 停止客户端的NTP服务（只需在cdh2、cdh3上操作）
    systemctl stop ntpd
  2. 同步服务端时间（只需在cdh2、cdh3上操作）
    ntpdate 192.168.100.101
    在这里插入图片描述
  3. 所有节点启动时间同步（三台虚拟机）
    timedatectl set-ntp yes
3、安装MySQL（只在cdh1上操作）
  1. 用root用户，安装mysql-7.5
    上传下载的MySQL文件
    把mysql-cluster-gpl-7.5.10-linux-glibc2.12-x86_64.tar.gz文件上传到目录：/data/mysql/data/
    解压并修改文件夹名称
    mkdir -p /data/mysql/data/
    cd /data/mysql/data/
    tar -xzvf mysql-cluster-gpl-7.5.10-linux-glibc2.12-x86_64.tar.gz
    mv mysql-cluster-gpl-7.5.10-linux-glibc2.12-x86_64 mysql-7.5
  2. 使用root创建组，用户，mysql相关目录
    创建用户
    useradd mysqluser
    passwd mysqluser //密码 ‘1qaz@WSX’
    创建目录
    mkdir -p /data/mysql/data/mysql-7.5/3306/data/
    mkdir -p /data/mysql/data/mysql-7.5/3306/general_query
    mkdir -p /data/mysql/data/mysql-7.5/3306/slow_query
    mkdir -p /data/mysql/data/mysql-7.5/3306/tmp
    mkdir -p /data/mysql/data/mysql-7.5/3306/error
    mkdir -p /data/mysql/binlog/relaylog/
    更改目录权限
    chown -R mysqluser: /data/mysql/
    环境变量
    su mysqluser
    vi ~/.bashrc
    #####增加####
    export PATH="$PATH:/data/mysql/data/mysql-7.5/bin"
    生效配置
    source ~/.bashrc
  3. 初始化数据库（su mysqluser）mysqluser用户执行
    mysqld --initialize --user=mysqluser --datadir=/data/mysql/data/mysql-7.5/3306/data --basedir=/data/mysql/data/mysql-7.5
    注：标注的红框是自动生成的密码：ekL!ifwMC6si
    在这里插入图片描述
  4. 修改my.cnf配置文件（mysqluser用户执行）
    cd /data/mysql/data/mysql-7.5
    vi my.cnf
####配置文件####
#MYSQL CLIENT
[client]
#数据库监听端口
port=3306
#用于客户端连接的socket文件位置
socket =/data/mysql/data/mysql-7.5/3306/mysql.sock

#MYSQL
[mysql]
#默认字符编码，建议设置为utf8
default-character-set = utf8

#MYSQL SERVER
[mysqld]
#不区分表名的大小写
lower_case_table_names=1
port = 3306
user = mysql
#数据库安装位置
basedir = /data/mysql/data/mysql-7.5
#用于客户端连接的socket文件位置
socket = /data/mysql/data/mysql-7.5/3306/mysql.sock
#数据库进程pid文件位置
pid-file = /data/mysql/data/mysql-7.5/3306/mysql.pid
#数据库数据文件位置
datadir = /data/mysql/data/mysql-7.5/3306/data
#数据库临时文件位置
tmpdir = /data/mysql/data/mysql-7.5/3306/tmp
#server id  每台mysql唯一
server-id=79
open_files_limit = 10240
explicit_defaults_for_timestamp
sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

#replication
auto_increment_increment=2
auto_increment_offset=1
relay-log=/data/mysql/binlog/relaylog/m1-relaylog
log_slave_updates=on
relay_log_recovery=on
slave-skip-errors=1032

#MTS
slave-parallel-type=LOGICAL_CLOCK
slave-parallel-workers=16

#multile
master_info_repository=TABLE
relay_log_info_repository=TABLE

#Buffer
max_allowed_packet = 256M
max_heap_table_size = 256M
net_buffer_length = 8K
sort_buffer_size = 2M
join_buffer_size = 4M
read_buffer_size = 16M
read_rnd_buffer_size = 16M
query_cache_size = 0

#Charaset
#默认字符集
character_set_server = utf8
#字符比较规则
collation_server = utf8_bin

#Log
#重做日志
log_bin = /data/mysql/binlog/mysql-bin
binlog_cache_size = 16M
max_binlog_cache_size = 2048M
max_binlog_size = 1024M
binlog_format = mixed
binlog_stmt_cache_size = 16M
#日志过期时间
expire_logs_days = 14
#错误日志配置
log_output = FILE
log_error = /data/mysql/data/mysql-7.5/3306/error/mysql-error.log
#慢查询日志配置
slow_query_log = 1
slow_query_log_file = /data/mysql/data/mysql-7.5/3306/slow_query/slow_query.log
#通用查询日志
general_log = 1
general_log_file = /data/mysql/data/mysql-7.5/3306/general_query/general_query.log

#INNODB
#innodb_data_file_path = ibdata1:2048M:autoextend
#innodb_log_file_size = 256M
#innodb_log_files_in_group = 3
#innodb buffer建议设置为内存的1/2大小
#innodb_buffer_pool_size = 4G
#pool_instances建议以1G为单位，数量为innodb_buffer_pool_size/1024M
#innodb_buffer_pool_instances = 16
#innodb_log_buffer_size = 4M

innodb_file_per_table = 1
innodb_flush_log_at_trx_commit = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M

#PERFORMENCE
max_connections = 1000
max_connect_errors = 100000
interactive_timeout = 86400
wait_timeout = 86400
skip-name-resolve
sync_binlog = 0
table_open_cache = 3000
  1. 启动mysql
    Mysql所有操作都需要在mysqluser用户下，之后不再特别提示
    su - mysqluser
    mysqld_safe --defaults-file=/data/mysql/data/mysql-7.5/my.cnf --ledir=/data/mysql/data/mysql-7.5/bin &
    在这里插入图片描述
  2. 查看数据库状态
    查看mysql进程：ps -ef | grep mysql
    在这里插入图片描述
    查看mysql端口：ss -tulnp | grep 3306
    在这里插入图片描述
  3. 修改mysql-root的密码
    加粗标注为mysql初始密码，根据实际情况替换
    mysqladmin -uroot -p’ekL!ifwMC6si’ password --socket=/data/mysql/data/mysql-7.5/3306/mysql.sock
    在这里插入图片描述
  4. 测试连接mysql
    加粗标注为mysql初始密码，根据实际情况替换
    mysql -uroot -p’1qaz@WSX’ --socket=/data/mysql/data/mysql-7.5/3306/mysql.sock
    在这里插入图片描述
  5. 创建CDH数据库
    进入命令行：
    mysql -u root --password=‘1qaz@WSX’ --socket=/data/mysql/data/mysql-7.5/3306/mysql.sock
create database amon default character set utf8;
create database rman default character set utf8;
create database hive default character set utf8;
create database oozie default character set utf8;
create database hue default character set utf8;
create database cm default character set utf8;
create database scm default character set utf8;
create database aman default character set utf8;
  1. 创建CDH用户
    进入命令行：
    mysql -u root --password=‘1qaz@WSX’ --socket=/data/mysql/data/mysql-7.5/3306/mysql.sock
CREATE USER "amon"@"%" IDENTIFIED BY "amon!QAZ";
create user "rman"@"%" identified by "rman!QAZ";
create user "hive"@"%" identified by "hive!QAZ";
create user "oozie"@"%" identified by "oozie!QAZ";
create user "hue"@"%" identified by "hue!QAZ";
create user "cm"@"%" identified by "cm!QAZ";
create user "scm"@"%" identified by "scm!QAZ";
create user "aman"@"%" identified by "aman!QAZ";
  1. 用户授权
    进入命令行：
    mysql -u root --password=‘1qaz@WSX’ --socket=/data/mysql/data/mysql-7.5/3306/mysql.sock
grant all privileges on amon.* to 'amon'@'%';
grant all privileges on rman.* to 'rman'@'%';
grant all privileges on hive.* to 'hive'@'%';
grant all privileges on oozie.* to 'oozie'@'%';
grant all privileges on hue.* to 'hue'@'%';
grant all privileges on cm.* to 'cm'@'%';
grant all privileges on scm.* to 'scm'@'%';
grant all privileges on aman.* to 'aman'@'%';
  1. 数据库授权刷新
    进入命令行：
    mysql -u root --password=‘1qaz@WSX’ --socket=/data/mysql/data/mysql-7.5/3306/mysql.sock
flush privileges;
4、Mysql 双主配置说明
  1. 停止mysql（cdh1上mysqluser用户操作）
    mysqladmin -uroot -p -S /data/mysql/data/mysql-7.5/3306/mysql.sock shutdown
  2. 打包备份mysql整个目录（cdh1上root用户操作）
    cd /tmp
    tar -zcvf mysql.tar.gz /data/mysql/
  3. scp至192.168.100.102:/tmp 目录（cdh1上root用户操作）
    cd /tmp
    scp mysql.tar.gz 192.168.100.102:/tmp
  4. 解压mysql.tar.gz包（cdh2上root用户操作）
    tar -zxvf /tmp/mysql.tar.gz -C /
  5. 创建mysqluser用户（cdh2上root用户操作）
    useradd mysqluser
    passwd mysqluser //密码 ‘1qaz@WSX’
  6. 更改mysql目录权限（cdh2上root用户操作）
    chown -R mysqluser: /data/mysql/
  7. 修改配置文件（cdh2上mysqluser用户操作）
####需要修改的配置####
# server id
server-id=80
# replication
auto_increment_increment=2
auto_increment_offset=2
relay-log=/data/mysql/binlog/relaylog/m2-relaylog
  1. 修改server-uuid（cdh2上mysqluser用户操作）
    cd /data/mysql/data/mysql-7.5/3306/data
    vi auto.cnf
###任意修改，区别192.168.100.101的mysql-server-uuid###
[auto]
server-uuid=f96ba960-9453-11ea-977b-111c291d9ee9
  1. 配置环境变量（cdh2上mysqluser用户操作）
    vi ~/.bashrc
    **添加内容：**export PATH="$PATH:/data/mysql/data/mysql-7.5/bin"
    生效配置： source ~/.bashrc
  2. 启动mysql（cdh2上mysqluser用户操作）
    mysqld_safe --defaults-file=/data/mysql/data/mysql-7.5/my.cnf --ledir=/data/mysql/data/mysql-7.5/bin &
  3. 查看数据库状态（cdh2上mysqluser用户操作）
    查看mysql进程与端口
    ps -ef | grep mysql
    ss -tulnp | grep 3306
    在这里插入图片描述
  4. 测试连接mysql（cdh2上mysqluser用户操作）
    黑色加粗为实际使用的密码，根据实际情况替换
    mysql -uroot -p’1qaz@WSX’ --socket=/data/mysql/data/mysql-7.5/3306/mysql.sock
  5. cdh1上启动mysql服务
    mysqld_safe --defaults-file=/data/mysql/data/mysql-7.5/my.cnf --ledir=/data/mysql/data/mysql-7.5/bin &
  6. 创建双主授权用户
  • 两台mysql都需要连接至mysql命令行
    mysql -uroot -p’1qaz@WSX’ --socket=/data/mysql/data/mysql-7.5/3306/mysql.sock
  • 执行授权操作：
    在192.168.100.101上执行
    GRANT REPLICATION SLAVE ON . TO ‘repl’@‘192.168.100.102’ IDENTIFIED BY ‘1qaz@WSX’;
    flush privileges;
    在192.168.100.102上执行
    GRANT REPLICATION SLAVE ON . TO ‘repl’@‘192.168.100.101’ IDENTIFIED BY ‘1qaz@WSX’;
    flush privileges;
  1. mysql双主配置- CHANGE MASTER TO
  • 192.168.100.101配置
    在192.168.100.102执行(mysql命令行)
    show master status\G;
    在这里插入图片描述
    在192.168.100.101执行----红色框中标的mysql-bin.000002,613必须与上图中的一致
    CHANGE MASTER TO
    MASTER_HOST=‘192.168.100.102’,
    MASTER_USER=‘repl’,
    MASTER_PASSWORD=‘1qaz@WSX’,
    MASTER_LOG_FILE=‘mysql-bin.000002’,
    MASTER_LOG_POS=613;
    在这里插入图片描述
  • 192.168.100.102配置
    在192.168.100.101执行(mysql命令行)
    show master status\G;
    在这里插入图片描述
    在192.168.100.102执行----红色框中标的mysql-bin.000002,613必须与上图中的一致
    CHANGE MASTER TO
    MASTER_HOST=‘192.168.100.101’,
    MASTER_USER=‘repl’,
    MASTER_PASSWORD=‘1qaz@WSX’,
    MASTER_LOG_FILE=‘mysql-bin.000002’,
    MASTER_LOG_POS=613;
    在这里插入图片描述
  1. 启动slave
    在192.168.100.101和192.168.100.102都执行
    start slave;
  2. 查看双主启动slave配置后状态
    在192.168.100.101和192.168.100.102都执行
    show slave status\G;

cdh1的结果
在这里插入图片描述
cdh2的结果
在这里插入图片描述

二、准备Cloudera Manager安装

1、安装Httpd服务

在作为CDH yum源的机器上进行操作
yum install httpd
systemctl start httpd
systemctl enable httpd

2、禁用Selunix

所有节点关闭Selunix:
vi /etc/selinux/config
设置：SELINUX=disabled
重启或则执行setenforce 0 使配置生效

3、禁止交换

**所有节点执行：**禁止交换（可选）， 内存页面交换在某些情况下会导致 CDH 性能下降，建议在 kernel 在2.6.32-303 之前的版本中将其关闭。
vi /etc/sysctl.conf
#ADD by tansun for CDH
vm.swappiness=0
执行,立即生效
sysctl vm.swappiness=0

4、修改 transparent_hugepage 参数

执行范围：所有节点
这一参数默认值可能会导致 CDH 性能下降，并在/etc/rc.local末尾添加如下两行.
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

三、CDH Manager安装

1、添加yum源：（所有节点）

curl https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo > /etc/yum.repos.d/cloudera-manager.repo
注：此出隐含条件是有系统默认的yum源可在线更新
在这里插入图片描述

2、查看cdh配置信息： /etc/yum.repos.d/cloudera-manager.repo

在这里插入图片描述

3、开启5.6版的yum源（所有节点）

vim /etc/yum.repos.d/mysql-community.repo (所有节点)
开启5.6的yum源并修改如下：

[mysql56-community]
name=MySQL 5.6 Community Server
baseurl=http://repo.mysql.com/yum/mysql-5.6-community/el/7/$basearch/
enabled=1
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql
 
[mysql57-community]
name=MySQL 5.7 Community Server
baseurl=http://repo.mysql.com/yum/mysql-5.7-community/el/7/$basearch/
enabled=0
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql
# 注：修改enabled选项等于1表示开启，0表示关闭（其他源都配置为0）

复制到其他节点：
scp /etc/yum.repos.d/mysql-community.repo 192.168.100.102:/etc/yum.repos.d/mysql-community.repo
scp /etc/yum.repos.d/mysql-community.repo 192.168.100.103:/etc/yum.repos.d/mysql-community.repo
在这里插入图片描述

4、安装Cloudera Manager包 （cdh1主节点）

yum install -y cloudera-manager-daemons cloudera-manager-server

5、安装mysql-connector-java（所有节点）

yum install mysql-connector-java

6、设置外部数据源（cdh1主节点）

/usr/share/cmf/schema/scm_prepare_database.sh mysql scm scm ‘scm!QAZ’

7、验证

访问http://192.168.100.101:7180/是否安装成功
在这里插入图片描述

四、Cloudera Manager通过界面安装

1、根据提示安装

在这里插入图片描述

2、搜索使用的主机

在这里插入图片描述
在这里插入图片描述

3、根据提示继续安装

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4、等待安装完成

在这里插入图片描述

5、等待集群安装

在这里插入图片描述

6、检查主机

在这里插入图片描述

7、选择集群安装的组件

在这里插入图片描述
接下来根据提示操作即可…

斗罗昊天锤
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CDH5.16.2离线部署.docx
10-22
基于centos7， 安装CDH5.16.2的安装文档，jdk使用的是1.8，总共三个节点，根据部署步骤写的文档，已经部署成功！希望能够帮助到你
setup_cdh:CDH5.16.2 离线安装脚本
05-27
离线安装CDH5.16.2是Cloudera Data Hub的一个重要步骤，尤其在没有互联网连接或者网络环境受限的环境中。CDH（Cloudera Distribution Including Apache Hadoop）是Cloudera公司提供的一个开源大数据平台，包含了多个...
CDH 5.16.1集群环境搭建
Marsm的博客
12-20 566
CDH 5.16.1集群环境搭建 集群节点 192.168.10.1 hadoop01 235G+4T 192.168.10.2 hadoop02 235G+4T 192.168.10.3 hadoop03 235G+4T 192.168.10.4 hadoop04 235G+4T 集群节点初始化 1.配置节点hosts 192.168.10.1 hadoop01.office.gdapi....
hive1.1.0-cdh5.16.2集群搭建一步到位-附安装包
最新发布
XKEYUAN的博客
05-17 1043
上次部署了hadoop2.6.0-cdh5.16.2环境，现在紧接着基于这套环境搭建hive1.1.0-cdh5.16.2集群，找不到安装包的小伙伴，可以用下面提供的安装包。
CDH5.16.2单机安装（开启kerberos验证）
小刘的博客
04-30 1012
前言： 公司需求，之前做的impala单机安装并不满足需求，负责人叙述需求没有说清楚，还要过kerberos验证，导致最后需要单独在部署CDH并开启kerberos验证，当然，不装CDH独立部署也能够开启kerberos，不过那个麻烦一点，就不弄麻烦的那个方案了，就从新搞个CDH，弄一弄简单的，以后有时间可以给大家单独出一个教程，独立安装的impala集成kerberos。 CDH()是...
安装 CDH5.16.2 + centos7.7 + VM
DCHAO的博客
02-10 2476
在自己电脑上用VM搭建跟公司一样的CDH集群 centos7_x64 CDH5.16 JDK1.8_181 spark2.2.0 - scala2.11
CDH5.16.2三节点安装部署
qq_44003428的博客
01-09 728
1.安装虚拟机，最小化安装 2.设置相关参数： 设置ip地址：vi /etc/sysconfig/network-scripts/ifcfg-ens33 删除默认路由：DEFROUTE=yes 删除UUID 设置开机启动ONBOOT=yes 设置IPADDR=192.168.220.128 增加DNS:DNS1=114.114.114.114 DNS2=8.8.8.8 重启网卡：service network restart ping下外网是否正常 关闭防火墙：systemctl stop firewall
大数据集群CDH5.16.2和CM5.16.2安装包网盘地址.zip
07-05
Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警...压缩包里有CDH5.16.2和CM5.16.2，链接如果失效联系我即可，如果需要CDH其他版本，比如CDH6，私聊我有惊喜，所有版本都有，可以帮忙下载！！
zookeeper-3.4.5-cdh5.16.2.tar.gz
01-14
总的来说，"zookeeper-3.4.5-cdh5.16.2.tar.gz"是构建和维护高效、稳定的CDH集群不可或缺的组件，它在分布式系统中的角色不可替代。理解并掌握Zookeeper的工作原理和使用方法，对于大数据环境的管理和优化至关重要。
spark-2.4.6-cdh5.16.2
06-14
压缩包中的"spark-2.4.6-bin-2.6.0-cdh5.16.2"包含了Spark的所有二进制文件，包括Spark的执行环境、库文件、配置示例等。用户可以通过解压此文件，在CDH集群上安装和配置Spark，以实现数据处理和分析任务。 总的来...
CentOS 7 安装 CDH 5.16.2 离线安装
程序人生
07-20 840
一.前期环境准备 所有机器都要操作的，都要进行的环境准备。 安装sshpass 主要的节点，或者是主节点，或者是主要的跳转到其他节点的服务器，需要安装 yum install -y sshpass 可以自动带密码登录，其他服务器。 yum list | grep sshpass sshpass -p '密码' ssh -o stricthostkeychecking=no slave-4 sshpass -p '密码' scp -rp software/ root@slave-4:/roo...
VM下安装 centos7.6 + CDH5.16.2
DCHAO的博客
08-22 827
一、SRC 前面那篇文章是在生产环境实践之前本地安的，在生产环境安装了一遍之后，有很多地方做了修改，所以重新写一篇。 二、需求 1. 节点规划 完全模拟公司环境，centos7.6 + CDH5.16.2 5台虚拟机。4个cdh，1个应用和数据库服务器。 ip 作用 101 cdh管理节点 102-104 cdh工具+数据节点 105 数据库和应用节点 2. 配置hdf..................
CDH5.16.2在线搭建
qq_44119575的博客
07-15 267
CDH5.16.2搭建1.Cloudera Manager1.1 CM简介1.1.1 CM简介1.1.2 CM架构1.2 CM部署准备配置1.2.1 修改hosts文件1.2.2 SSH免密登录1.2.4 集群整体操作脚本1.2.5 关闭防火墙1.2.6 关闭SELINUX1.2.7 配置NTP时钟同步1.确认是否需要安装2.安装服务4.修改时区1.3 CM安装准备软件1.3.1 安装JDK（三台）1.3.2 安装MySQL1.3.4 创建CM用的数据库1.4 CM安装部署1.4.1 CM安装1.4.2安装
hadoop-2.6.0-cdh5.16.1集群部署详细文档
大数据小菜鸟。
05-15 587
hadoop-2.6.0-cdh5.16.1集群部署详细文档准备工作开始安装（上传文件，修改配置）hadoop-env.shyarn-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlslavesmasters分发文件 准备启动==非22端口解决办法== 准备工作 准备集群机器 192.168.113.101 master 192.168.113.102 slaver1 192.168.113.103 slaver2 ss.
CDH版本HADOOP2.6.0高可用集群搭建
weixin_43441221的博客
01-20 393
CDH版本HADOOP2.6.0高可用集群搭建 一、安装包准备 hadoop-2.6.0-cdh5.16.2.tar jdk-8u45-linux-x64 zookeeper-3.4.5-cdh5.16.2.tar 二、集群规划 hadoop01 hadoop02 hadoop03 三、搭建过程 1、3台虚拟机配置，以第一台为例 ** 1.1 ip设置 [root@hadoop01 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=Etherne
CDH5.16.2安装部署(一)准备工作
mcdull213的博客
05-17 805
一、集群规划 真正离线部署：mysql cm( server agent 主从架构 ) parcel文件 hadoop001：mysql cm-server cm-agent nn snn dn rm nm zk hadoop002：cm-agent dn nm broker zk hadoop003：cm-agent dn nm broker zk 原则： 1.1 选择第一台 配置不是太强的作为 工具节点 mysql cm-server cm-agent 1.2 选择2...
亲手搭建！从0到1搭建CDH集群(centos6.5+CDH5.16+jdk1.8+mysql5.7)（第二步： ClouderaManager安装）
looo000ngname的博客
07-03 262
二、 ClouderaManager安装 2.1 安装Cloudera Manager Server、Agent 【all】mkdir /opt/cloudera-manager 【1】tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager 2.2 创建用户cloudera-scm 【all】useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM
CentOS7搭建CDH5.16.1教程
qq_39572733的博客
05-30 1413
简介 因为之前我搭建的是Apache原生的，维护起来很麻烦，重启什么的都需要写脚本，太麻烦了，所以这次公司需要搭建集群，我就选择了CDH5.16.1的进行搭建。 环境及角色分配 环境是ContOS7系统的6台机器，1.8T磁盘，32G内存，8核16线程的CPU。 ip 主机名 角色 192.168.25.120 server server 192.168.25.121 agen...
cdh必须要在root用户搭建吗_0598-6.2.0-如何基于FTP的方式访问CDH中HDFS文件系统
weixin_39725365的博客
12-26 155
作者：余枫1.文档编写目的访问HDFS的方式很多，常用的有命令行方式、通过Hadoop提供的API访问、也可以通过挂载NFS的方式访问，在前面的文章Fayson也都有介绍过。本篇文章Fayson主要介绍使用FTP的方式来访问HDFS，这里介绍一个开源的小工具hdfs-over-ftp,简单易用的实现了基于FTP的方式对HDFS上文件进行上传和下载等功能。本篇文章Fayson主要介绍如何基于C6编译...
CDH5.16.2下载安装
09-20
CDH5.16.2是Cloudera发布的一个Hadoop分发版本，你可以按照以下步骤下载和安装CDH5.16.2： 1. 首先，前往Cloudera官网（https://www.cloudera.com/products/open-source/apache-hadoop/downloads.html）下载CDH...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值