CDH平台
CDH平台
小哇666
专注web/大数据
展开
-
CDH集群修改配置文件的方法,这里以hbase-site.xml 为例
cdh集群尽量不要自己去每个节点手动修改 hbase-site.xml, 使用 cloudera manager 修改, 安全 快捷配置一般分为服务端配置和客户端配置, 为了保险起见, 我平时配置的时候都是两个一起改, 下面是修改办法.修改之后切记要 重启hbase, 并且部署客户端配置...转载 2020-10-05 12:26:08 · 1501 阅读 · 0 评论 -
CDH6.3.1安装Phoenix服务
一、下载parcel包 下载目录为:https://archive.cloudera.com/phoenix/6.2.0/parcels/ 下载如上图所示的三个文件,这里多说一句,这里需要根据自己的系统选择合适的文件,小编的系统是RedHat7所以下载el7。 同时,需要下载与之对应的jar包文件:https://archive.cloudera.com/phoenix/6.2.0/csd/PHOENIX-1.0.jar二、上传parcel...转载 2020-10-05 12:18:27 · 915 阅读 · 1 评论 -
CDH6.3.1 通过web管理界面查看各组件应用的版本
原创 2020-10-02 11:21:31 · 719 阅读 · 0 评论 -
CDH目录结构说明
1 各种应用的shell客户端cd /opt/cloudera/parcels/CDH/binlsavro-tools impala-collect-diagnostics kafka-preferred-replica-election oozie sqoop-import-all-tablesbeeline impala-collect-minidumps kafka-producer-...原创 2020-10-02 09:18:58 · 1039 阅读 · 0 评论 -
[CDH6.3.1集群]-通过CM Server安装 kafka
1 下载kafka的Parcel2 修改 kafka的配置文件(每个机器都要修改,值 只能为数字,id不能一样)cd /opt/cloudera/parcels/KAFKA-4.1.0-1.4.1.0.p0.4/etc/kafka/conf.distvi server.properties修改broker.id的值3 开始安装kafka服务,需要注意的地方如下一般只安装Broker就可以了这里必须写,不然zk中乱七八糟的如果安装失败,需要重新安装kafka,则需要做如下...原创 2020-10-01 21:15:41 · 545 阅读 · 0 评论 -
[CDH平台]-忘记 CM server 的登录密码
1 进入mysql的shell客户端2 执行如下命令,将密码恢复为adminuse cmf;update USERS set PASSWORD_HASH='2518db3278f704558ece63f469af87a7c12dbad8ff0971d3b677e291d61b44fc', PASSWORD_SALT=-5792243850706636683 WHERE USER_ID = 1;原创 2020-10-01 15:26:52 · 1273 阅读 · 0 评论 -
cdh6.3.1集群搭建-安装过程中的错误汇总
hdfs服务:该主机上未运行任何端口映射或rpcbind服务。在尝试启动此主机上的NFS网关角色之前,请启动portmap或rpcbind服务yum install nfs-utils rpcbindsystemctl start rpcbindsystemctl status rpcbindJava Heap Size of NameNode in Bytes堆大小,使用默认值4G即可...原创 2020-09-30 23:25:39 · 846 阅读 · 0 评论 -
[CDH6.3.1集群搭建] 通过CM 从零开始安装 和设置 cm server,部署CDH集群
首先确保以下步骤都成功进行,没有特别说明的话,集群中每个节点都要执行以下的步骤linux系统为Centos7.2,CDH的版本6.3.11 配置 hostname,每个节点都把集群的所有hostname都加上,注意 ip 是内网iphttps://blog.csdn.net/qq_41712271/article/details/1086890312 防火墙设置https://blog.csdn.net/qq_41712271/article/details/1086890793禁用 SELinux...原创 2020-09-30 15:46:03 · 1025 阅读 · 0 评论 -
[CDH6.3.1搭建]- 通过rpm包的方式,离线部署cm server及agent
1.所有节点创建目录及解压mkdir /opt/cloudera-managertar -xzvf cm6.3.1-redhat7.tar.gz -C /opt/cloudera-manager/2.选择cdh001为cm server,在cdh001上执行以下命令,不下载依赖包直接部署cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.r..原创 2020-09-30 15:33:30 · 930 阅读 · 0 评论 -
[CDH6.3.1搭建]-离线parcel源配置,cdh001节点通过apache部署离线parcel源
部署离线parcel源注意:1sha1名称注意,重命名去掉1,不然在部署过程CM认为文件下载未完整,会持续下载2 目录不要变,切记mkdir -p /var/www/html/cdh6_parcelcp CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel /var/www/html/cdh6_parcel/mv CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 /var/www/html/cdh6_parcel/C.原创 2020-09-30 15:09:47 · 890 阅读 · 0 评论 -
cm安装前,创建元数据库和创建相应的用户,放java操作mysql的jar包
cdh001节点上操作# 以下的密码太简单了,所以临时设置下密码规则set global validate_password_policy=0;set global validate_password_mixed_case_count=0;set global validate_password_number_count=3;set global validate_password_special_char_count=0;set global validate_password_lengt原创 2020-09-29 23:30:32 · 307 阅读 · 0 评论