CDH 5.16.1 离线部署 & 通过 CDH 部署 Hadoop 服务

最新推荐文章于 2021-01-01 22:02:06 发布
最新推荐文章于 2021-01-01 22:02:06 发布
阅读量182 收藏
点赞数
文章标签： 大数据 数据库 java
原文链接：http://www.cnblogs.com/netonline/p/10187348.html
版权

参考

  1. Cloudera Enterprise 5.16.x
  2. Installing Cloudera Manager, CDH, and Managed Services
  3. Installation Path B - Manual Installation Using Cloudera Manager Packages

一. 环境

1.1 系统节点信息

HostnameIPCPU(cores)Memory(GB)OSServiceRemark
master172.30.200.7524centos 7.5jdk, cloudera-scm-server, mysql实际部署后，master节点也需要部署cloudera-scm-agent服务，或采用4个slave节点
slave01172.30.200.7624centos 7.5jdk, cloudera-scm-agent
slave02172.30.200.7724centos 7.5jdk, cloudera-scm-agent
slave03172.30.200.7824centos 7.5jdk, cloudera-scm-agent

1.2 软件版本

相关软件放置在/usr/local/src/目录。

SoftVersionDownloadRemark
CM(Cloudera Manager)cloudera-manager-centos7-cm5.16.1_x86_64.tar.gzbin包，根据版本下载
CDH parcelCDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel根据版本下载软件安装包
CDH parcel.shaCDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1根据版本下载软件包hash码
CDH manifest.jsonmanifest.json根据版本下载版本说明文件
JDKjdk-8u181-linux-x64.tar.gzbin包，根据版本下载
MySQLmysql-5.7.24-el7-x86_64.tar.gzbin包，根据版本下载存放Cloudera Manager配置文件
MySQL-connector-Javamysql-connector-java-8.0.13.jarjar包，根据版本下载JDBC

二. 准备工作

2.1 部分预配置

所有节点执行以下操作：

  • 永久关闭防火墙(firewalld或iptables)；
  • 永久关闭selinux；
  • 设置ntp。

2.2 设置hosts

  • 所有节点设置/etc/hosts

    cat << EOF >> /etc/hosts

# hadoop nodes
172.30.200.75 master
172.30.200.76 slave01
172.30.200.77 slave02
172.30.200.78 slave03
EOF

2.3 免密访问设置

  • 在所有节点生成秘钥

    ssh-keygen -t rsa

  • 在master节点生成authorized_keys文件

    cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

  • 在master节点执行，将集群每个节点的公钥id_rsa.pub放入master节点的authorized_keys文件中

    for i in {1..3}; do ssh root@slave0$i cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys; done
  • 在master节点执行，将master节点的authorized_keys文件放置到集群每个节点的/root/.ssh/目录，依然命名位authorized_keys
    • 最终的效果是集群中所有节点两两相互免密访问；
    • 注意：首次登陆时有公钥检查，可通过在/etc/ssh/ssh_config文件中设置StrictHostKeyChecking no绕过，或使用-o参数跳过。
    for i in {1..3}; do scp /root/.ssh/authorized_keys root@slave0$i:/root/.ssh/authorized_keys; done

2.4 安装JDK

所有节点都需要安装JDK。

  • 安装JDK

    
cd /usr/local/src
tar -zxvf jdk-8u181-linux-x64.tar.gz
mkdir -p /usr/java
mv jdk1.8.0_181/ /usr/java/

# 设置软链接，方便升级替换
ln -s /usr/java/jdk1.8.0_181/ /usr/java/current

  • 设置变量

    cat << EOF >> /etc/profile

# JDK
export JAVA_HOME=/usr/java/current
export JRE_HOME=/usr/java/current/jre
export PATH=$PATH:/usr/java/current/bin
export CLASSPATH=./:/usr/java/current/lib:/usr/java/current/jre/lib
EOF

  • 验证

    # 加载变量
source /etc/profile

# 验证
java -version

2.5 安装MySQL

只有master节点需要安装MySQL。

  • 卸载系统自带的相关数据库

    rpm -qa | grep mysql
rpm -qa | grep mariadb

# --nodeps：不检查依赖
rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64

  • 部署MySQL

    # 采用bin包部署，解压后直接使用
cd /usr/local/src
tar -zxvf mysql-5.7.24-el7-x86_64.tar.gz -C /usr/local/
mv /usr/local/mysql-5.7.24-el7-x86_64/ /usr/local/mysql

  • 账号与权限

    # 添加账号
groupadd mysql
useradd -g mysql -s /sbin/nologin mysql

# 创建"data"目录
mkdir /data

# 赋权
chown -R mysql:mysql /usr/local/mysql/
chown -R mysql:mysql /data/
  • 初始化MySQL
    • 获取root@localhost账号的初始密码Hqe6x<Re4jhK
    cd /usr/local/mysql/
bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/data

  • 设置变量

    cat << EOF >> /etc/profile

# MySQL
export PATH=$PATH:/usr/local/mysql/bin
EOF

# 加载变量
source /etc/profile

# 软链接
ln -s /usr/local/mysql/lib/mysql /usr/lib/mysql
ln -s /usr/local/mysql/include/mysql /usr/include/mysql

  • 设置开机启动

    # 复制开机启动脚本到系统服务
cp /usr/local/mysql/support-files/mysql.server /etc/rc.d/init.d/mysqld
chown mysql:mysql /etc/rc.d/init.d/mysqld

# 修改默认的"basedir"与"datadir"
vim /etc/rc.d/init.d/mysqld
basedir=/usr/local/mysql
datadir=/data

# 添加开机启动脚本
chkconfig --add mysqld
chkconfig --level 35 mysqld on

  • 文件路径：log && pid && socket

    # 日志路径
mkdir -p /var/log/mysqld
touch /var/log/mysqld/mysqld.log
chown -R mysql:mysql /var/log/mysqld/

# pid路径
mkdir -p /var/run/mysqld
chown -R mysql:mysql /var/run/mysqld/

# socker路径
mkdir -p /var/lib/mysqld
chown -R mysql:mysql /var/lib/mysqld/
ln -s /var/lib/mysqld/mysql.sock /tmp/mysql.sock

  • 设置my.cnf文件

    # 注意"log-error"，"pid-file"与"socket"的路径
mkdir -p /usr/local/mysql/etc
cat << EOF >> /usr/local/mysql/etc/my.cnf
[mysqld]
character-set-server=utf8
max_connections = 3000
log-error=/var/log/mysqld/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
socket=/var/lib/mysqld/mysql.sock
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

[mysql]
default-character-set=utf8
EOF

# 软链接
ln -s /usr/local/mysql/etc/my.cnf /etc/my.cnf

# 赋权
chown -R mysql:mysql /usr/local/mysql/etc/

  • 启动MySQL服务

    # 启动服务
service mysqld start

# 验证
service mysqld status

  • 设置MySQL账号密码与登陆权限

    # 使用初始化密码登陆
mysql -uroot -p

# 修改密码，注意不能使用"$"等特殊符号
set password=password('cdh12#hadoop');
flush privileges;

# 远程登陆权限
grant all privileges on *.*  to  'root'@'%'  identified by 'cdh12#hadoop'  with grant option;
flush privileges;

# 查看账号
select user, host, authentication_string from mysql.user;

三. Cloudera Manager安装

3.1 部署CM Server & Agent

  • 在所有节点创建CM目录/opt/cloudera-manager

    mkdir /opt/cloudera-manager

  • 在master节点向其余节点分发cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz

    for i in {1..3}; do scp /usr/local/src/cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz  root@slave0$i:/usr/local/src/ ; done

  • 在所有节点解压cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz到/opt/cloudera-manager/目录

    tar -zxvf /usr/local/src/cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz -C /opt/cloudera-manager/

  • 在所有slave节点修改/opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-agent/config.ini的server_host参数为master节点ip或主机名

    sed -i "s/server_host=localhost/server_host=master/g" /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-agent/config.ini

3.2 账号 && 权限

  • 在所有节点创建cloudera-scm账号，这是CM相关服务使用的默认账号

    # 禁止使用"cloudera-scm"账号登陆
useradd --system --home=/opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

  • 在所有节点为/opt/cloudera-manager目录赋权

    chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager

3.3 设置开机启动

  • 在master节点设置系统服务

    # 设置使用"cloudera-scm-server"为系统启动服务
cp /opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-server /etc/rc.d/init.d/
chown cloudera-scm:cloudera-scm /etc/rc.d/init.d/cloudera-scm-server

# 修改"CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}"的路径
vim /etc/rc.d/init.d/cloudera-scm-server
CMF_DEFAULTS=/opt/cloudera-manager/cm-5.16.1/etc/default


# 添加系统启动服务
chkconfig --add cloudera-scm-server
chkconfig --level 35 cloudera-scm-server on
checkconfig --list

  • 在所有slave节点设置系统服务

    # 设置使用"cloudera-scm-agent"为系统启动服务
cp /opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent /etc/rc.d/init.d/
chown cloudera-scm:cloudera-scm /etc/rc.d/init.d/cloudera-scm-agent

# 修改"CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}"的路径"-/etc/default"
vim /etc/rc.d/init.d/cloudera-scm-agent
CMF_DEFAULTS=${CMF_DEFAULTS:/opt/cloudera-manager/cm-5.16.1/etc/default}

# 添加系统启动服务
chkconfig --add cloudera-scm-agent
chkconfig --level 35 cloudera-scm-agent on
checkconfig --list

3.4 初始化数据库

  • 在所有节点设置MySQL驱动(JDBC)；

  • 注意：部署JDBC在任意节点，则后续"CDH安装配置"阶段Reports Manager被分配在任意节点都可以

    cp /usr/local/src/mysql-connector-java-8.0.13.jar /opt/cloudera-manager/cm-5.16.1/share/cmf/lib/
chown cloudera-scm:cloudera-scm /opt/cloudera-manager/cm-5.16.1/share/cmf/lib/mysql-connector-java-8.0.13.jar

  • 在master节点重启MySQL服务

    service mysqld restart
  • 在任意节点初始化CM
  • 注意：Cloudera服务需要的相关database如下：
    • 表中给出的是CM相关服务配置文件中默认的database与user，但不是必须使用；
    • database在数据库中可直接创建，但CM初始化时如果没有database，则自动创建。
    ServiceDatabaseUser
    Cloudera Manager Serverscmscm
    Activity Monitoramonamon
    Reports Managerrmanrman
    Huehuehue
    Hive Metastore Servermetastoremetastore
    Sentry Serversentrysentry
    Cloudera Navigator Audit Servernavnav
    Cloudera Navigator Metadata Servernavmsnavms
    Oozieoozieoozie
    # 格式：scm_prepare_database.sh [options] (postgresql|mysql|oracle) database username [password]
# scm_prepare_database.sh：创建与配置CMS需要的数据库脚本，默认在"/opt/cloudera-manager/cm-5.16.1/share/cmf/schema/"目录；
# postgresql|mysql|oracle：必选项，数据库类型；
# database：必选项，针对postgresql|mysql，创建SCM数据库;针对oracle，填写sid；
# username：必选项，SCM数据库的账号；
# password：选填项，SCM数据库的账号密码，如果不指定，会提示输入；
# options：
# -h：数据库主机ip或hostname，默认是"localhost"；
# -u：数据库账号，需要具备增删改查的权限，默认是"root"；
# -p：账号密码，默认无密码；
# --scm-host：SCM server主机名，默认是"localhost"
/opt/cloudera-manager/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh mysql -h master -uroot -pcdh12#hadoop --scm-host % scm scm scm_pass
/opt/cloudera-manager/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh mysql -h master -uroot -pcdh12#hadoop --scm-host % amon amon amon_pass
/opt/cloudera-manager/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh mysql -h master -uroot -pcdh12#hadoop --scm-host % rman rman rman_pass
/opt/cloudera-manager/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh mysql -h master -uroot -pcdh12#hadoop --scm-host % hue hue hue_pass
/opt/cloudera-manager/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh mysql -h master -uroot -pcdh12#hadoop --scm-host % metastore metastore metastore_pass
/opt/cloudera-manager/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh mysql -h master -uroot -pcdh12#hadoop --scm-host % sentry sentry sentry_pass
/opt/cloudera-manager/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh mysql -h master -uroot -pcdh12#hadoop --scm-host % nav nav nav_pass
/opt/cloudera-manager/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh mysql -h master -uroot -pcdh12#hadoop --scm-host % navms navms navms_pass
/opt/cloudera-manager/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh mysql -h master -uroot -pcdh12#hadoop --scm-host % oozie oozie oozie_pass

    返回如下信息，表示配置成功

    [main] INFO  com.cloudera.enterprise.dbutil.DbCommandExecutor  - Successfully connected to database.
All done, your SCM database is configured correctly!

3.5 创建本地parcel源

  • 在master节点制作本地parcel源

    # 创建本地parcel源目录
mkdir -p /opt/cloudera/parcel-repo

# 将parcel相关安装包放置到"/opt/cloudera/parcel-repo"目录；
# 说明："/opt/cloudera/parcel-repo"目录可放置多套parcel安装包；
# 将"CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1"重命名为"CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha"，否则会重新下载"CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel"安装包
mv /usr/local/src/CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel /opt/cloudera/parcel-repo/
mv /usr/local/src/CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha
mv /usr/local/src/manifest.json /opt/cloudera/parcel-repo/

# 赋权
chown -R cloudera-scm:cloudera-scm /opt/cloudera/

  • 在所有salve节点创建软件安装目录

    mkdir -p /opt/cloudera/parcels

# 赋权
chown -R cloudera-scm:cloudera-scm /opt/cloudera/

3.6 启动CM服务

  • 在master节点启动cloudera-scm-server服务

    # "cloudera-scm-server"启动需要连接数据库，监听端口启动会延迟
service cloudera-scm-server restart
service cloudera-scm-server status -l

# 通过启动后的状态查看，脚本需要执行"pstree"命令，需要安装依赖包
yum install psmisc -y

  • 在所有salve节点启动cloudera-scm-agent服务

    yum install psmisc -y
service cloudera-scm-agent restart
service cloudera-scm-agent status -l

四. 安装CDH

4.1 CDH安装配置

  • 浏览器访问CM：http://172.30.200.75:7180
  • 默认账号/密码：admin/admin
    924276-20181227205845465-749388167.png
  • 最终用户许可条款与条件
    924276-20181227205903071-1403573769.png
  • 部署版本，选择Cloudera Enterprise 试用版
    924276-20181227205934711-1224840215.png
  • 版本与服务说明
    924276-20181227205944581-1983414114.png
  • cloudera-scm-agent正常启动后，可发现相应的节点，指定集群服务的安装节点
    924276-20181227205957929-411439860.png
  • 选择CDH版本
    924276-20181227210010108-818939276.png
  • 集群安装，如果本地parcel源配置正确，则"下载"阶段瞬间完成，其余阶段视节点数与内部网络情况决定
    924276-20181227210020541-685802065.png
  • 检查主机正确性(需要一些时间)，针对slave节点有两个优化建议：
    924276-20181227210046206-405428313.png
    • 1.建议将/proc/sys/vm/swappiness设置为最大值10。
      • swappiness值控制操作系统尝试交换内存的积极；
      • swappiness=0：表示最大限度使用物理内存，之后才是swap空间；
      • swappiness=100：表示积极使用swap分区，并且把内存上的数据及时搬迁到swap空间；
      • 如果是混合服务器，不建议完全禁用swap，可以尝试降低swappiness。

      • 临时调整：

        sysctl vm.swappiness=10

      • 永久调整：

        cat << EOF >> /etc/sysctl.conf

# Adjust swappiness value
vm.swappiness=10
EOF
    • 2.已启用透明大页面压缩，可能会导致重大性能问题，建议禁用此设置。

      • 临时调整：

        echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

      • 永久调整：

        cat << EOF >> /etc/rc.d/rc.local

# Disable transparent_hugepage
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
EOF

# centos7.x系统，需要为"/etc/rc.d/rc.local"文件赋予执行权限
chmod +x /etc/rc.d/rc.local
  • 集群设置，选择服务进行安装，这里选择自定义服务的HDFS服务
    924276-20181227210108097-429512961.png
  • 集群设置，自定义角色分配，默认即可
    924276-20181227210123784-21558180.png
  • 集群设置，Reports Manager数据库名称rman，用户名rman
    924276-20181227210147006-450790244.png
  • 集群设置，审核更改，默认即可
    924276-20181227210159687-1122450180.png
  • 集群设置，首次运行
    924276-20181227210213618-1231718600.png
  • 集群设置，服务安装完成
    924276-20181227210225625-1483051990.png
  • Cloudera Manager 主页
    924276-20181227210234419-2021964377.png
  • Cloudera Manager HDFS 服务汇总
    924276-20181227210244984-1106141268.png

转载于:https://www.cnblogs.com/netonline/p/10187348.html

weixin_30480075
关注
CDH5.16.1集群企业真正离线部署(三台阿里云主机按量付费)
muyingmiao的专栏
10-06 820
一.准备工作 1.集群规划 节点 MySQL部署组件 Parcel文件离线源 CM服务进程 大数据组件 hadoop001 MySQL Parcel Activity Monitor NN RM DN NM hadoop002 Alert Publisher Event ...
05.HADOOP CDH5.16.1 详细搭建流程
weixin_42210772的博客
08-01 494
CDH 相对于原生的HADOOP 平台具有更好的可操作性，通过页面就行控制，方便安装和管理，还可以对整个集群进行参数的调整等等。 在此也要感谢 马尔东风https://blog.csdn.net/qq_39572733/article/details/89469741给到的帮助。 在这里我使用了 CDH5.16.1 版本 ，那么与其对应的 软件包也需要相应下载。 1.安装前的准备工作 ...
CDH5.16.1离线安装.docx
06-21
CDH5.16.1安装详细文档，包括添加spark2服务，安装es、kibana、MySQL等
CDH5.16.1完全离线部署
夜的博客
08-05 1682
目录CDH下载配置hostname及hosts关闭所有节点的防火火墙及清空规则关闭所有节点的selinux设置所有节点的时区一一致及时钟同步设置时区时间同步部署集群的JDK离线部署MySQL5.7CDH部署创建CDH的元数据库和⽤户、amon服务的数据库及⽤户hadoop001节点部署mysql jdbc jar离线部署cm server及agenthadoop001节点部署离线parcel源ha...
CDH5.16.1安装过程
Student_xx的博客
01-16 1040
1.修改主机名：以hadoop3为例： [root@localhost ~]# echo “hadoop003” > /etc/hostname [root@localhost ~]# vim /etc/hostname [root@localhost ~]# echo “192.168.244.111” hadoop001 >> /etc/hosts [root@localho...
CDH5.16.1企业离线部署--安装包.txt
09-10
百度云资源 cdh5.16.1 离线安装包，包含： CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel jdk-8u45-linux-x64.gz mysql-connector-java-5.1.47.jar CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 manifest.json cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz
CDH中添加Elasticsearch服务
01-09
此前Elasticsearch我一直是单独搭建的，后来偶然发现可以在Cloudera Manager中添加ES服务,在搭建过程中这篇博客给了我很多帮助 https://www.cnblogs.com/zhangrui153169/p/11447423.html 但存在一些问题,在这里记录下来以作为这篇文章的补充,也希望能帮助大家减少踩坑。 一、制作Elasticsearch的Parcel包和csd文件 1.配置java，maven等环境变量   java: export JAVA_HOME=/usr/local/java export PATH=$JAVA_HOME/bin:$PATH ex
CDH5.16.1全网最细的企业级离线部署
06-14
性能调优对于Hadoop来说无异于打"任督二脉",对于Hadoop的计算能力会有质的提升,而运维之于Hadoop来说,就好像"金钟罩,铁布衫"一般，有了稳定的运维Hadoop才能在海量数据中大展拳脚,两者相辅相成,缺一不可。
大数据框架CDH5.16.1版本安装包
06-30
内容：包括cm与cdh两个包 使用人群：大学生、数据开发
CDH5.16.1 集成Flink1.10.0 parcel文件
11-07
总的来说，CDH5.16.1集成Flink1.10.0是一项重要的工作，它能够为大数据环境带来强大的实时处理能力，并且通过CDH的管理工具，使得部署和维护变得更加简单。记得在集成过程中，仔细检查配置，确保所有步骤都按照最佳...
CDH版Hadoop云服务器的单节点和集群安装（附CDH自编译版本）
beishanyingluo的博客
10-16 598
上一篇写过 Apache版的Hadoop安装， https://blog.csdn.net/beishanyingluo/article/details/101938568 这里写一下 CDH版重新编译后的Hadoop版本的安装： 编译后版本 hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz 连接： 链接：https://pan.baidu.com/s/1fyaL6Xb...
cdh界面 hue 配置hbase_06355.16.1Hue集成HBase出现Api Error异常分析
weixin_35264158的博客
01-01 133
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1问题重现测试环境：1.RedHat7.42.CDH5.16.13.使用root进行操作4.集群已启用Kerberos1.登录Hue并选择HBase模块。界面上报错“...
CDH5.16.1版本中hbase集成phoenix
Yrz7746321的博客
06-16 782
因业务需求，有租户需要使用phoenix工具 1. phoenix下载地址：http://phoenix.apache.org/download.html 2.下载 ：http://archive.apache.org/dist/phoenix/apache-phoenix-4.14.0-cdh5.14.2/bin/apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz 3. 安装包：apache-phoenix-4.14.0-cdh5.14.2-bin.tar.g...
apache hadoop-2.6.0-CDH5.4.1 安装笔记
热门推荐
天亮说晚安
05-17 1万+
CDH基于稳定版Apache Hadoop，并应用了最新Bug修复或者Feature的Patch。Cloudera常年坚持季度发行Update版本，年度发行Release版本，更新速度比Apache官方快，而且在实际使用过程中CDH表现无比稳定，并没有引入新的问题。 Ø Cloudera官方网站上安装、升级文档详细，省去Google时间。 Ø CDH支持Yum/Apt包，Tar包，RPM包，Cloudera Mana
CDH5（CDH 5.16.1）安装
あずにゃん梓喵的博客
06-29 7427
CDH 6系列（CDH 6.0.0、CDH 6.1.0、CDH 6.2.0等）安装和使用 CDH5（CDH 5.16.1）安装 linux配置 1.第一种方式：rsa算法加密，非对称加密的方式基于私钥登陆的方式：（ssh连接时无需输入用户密码） 1.ssh-keygen -t rsa 然后四下回车 2./root/.ssh目录下： 私钥：id_rsa 公钥：id_rsa.p...
【环境搭建】CDH版Hadoop环境搭建
weixin_34356310的博客
09-13 475
1.下载组件 首先去CDH网站上下载hadoop组件 地址：http://archive.cloudera.com/cdh5/cdh/5/ 注意版本号要与其他的组件CDH版本一致   2.环境配置 设置主机名和用户名 配置静态IP 配置SSH免密登录 配置JDK 3.配置HADOOP 1.新建用户hadoop，从root用户获取/opt文件夹的权限，所有节点都要执行 ...
CDH5.16：离线安装部署
゛Never give up~
08-12 1201
1、准备工作 1.1 离线部署主要分为三块 MySQL离线部署 CM离线部署 Parcel包裹文件离线源部署 1.2 规划 节点 MySQL部署组件 Parcel文件离线源 CM服务进程 大数据组件 hadoop001 MySQL Parcel Activity Monitor hadoop002 Alert Publisher Event Server ...
0466-CDH5.16.1和CM5.16.1的新功能
Hadoop_SC的博客
11-30 2062
Fayson的github： https://github.com/fayson/cdhproject 推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f，或者扫描文末二维码。 Fayson在2018年的6月15日介绍了《CDH5.15和CM5.15的新功能》，今天11月29日，Cloudera正式发布CDH5.16.1。从5.15到5.16，差不多等待了5个月，当...
CDH内置的数据库
qxf1374268的博客
02-13 3810
采用Cloudera-Manager安装CDH时，采用内嵌数据库各数据库用户密码的保存位置 https://yq.aliyun.com/articles/43477 1,scm数据库的用户名，密码 [root@master ~]# more /etc/cloudera-scm-server/db.properties Auto-generated by initialize_embed...
CDH 5.7离线部署教程：主机配置与安全设置
离线安装对于那些无法直接从互联网下载软件包或者需要在受限环境中部署Hadoop集群的场景非常实用。以下是详细的步骤和配置说明： 1. **基础环境准备**： - 首先，确保主机配置文件正确，包括`/etc/hosts`中的IP...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值