咕噜咕噜大数据

在使用商业发行版的过程中，由于需要确认某个特性是否被当前的版本支持，或者是在和其他的同事进行疑难问题交流时，经常会出现需要确定某个组件（比如HBase、Kafka）的版本号的情况。因此这里介绍一下快速获得CDH、CDP以及 FusionInsight HD包含的组件的版本号的方法。CDH检查当前使用的CDH版本1、登录Cloudera Manager2、在界面右上角，点击“支持”，在下拉菜单中，点击“关于”，查看CDH版本信息：方法1（推荐）：在CDH的官方帮助文档中获得信息3-A、..

环境CDH 6.3.1Oracle JDK 1.8.0_181已开启Kerberos症状表现该集群曾经更换了关联的Kerberos域名称，由XY.COM.CN改为了XY.COM。现在又重新进行了更换，由XY.COM重新改为了XY.COM.CN。 修改完成后，集群重启，Cloudera Manager（以下简称CM）显示一切正常。 但是在使用Spark的过程中，发现在非Kerberos服务端的节点，执行spark的命令行工具（包括spark-shell、spark-submit等），就

环境：CDH 5.16Hive 1.1.0已开启KerberosHive 授权使用SQL StandardsBased Authorization模式（以下简称SSBA模式）症状表现：在编译好UDF的jar包之后，上传到HDFS目录。hdfs dfs -mkdir /udfhdfs dfs -put -f my_udf.jar /udf以管理员用户hive，进入beeline客户端。切换到管理员角色，执行：set role admin;提示成功切换角色后，执行创建自定义函数

前言在对Hadoop集群施加安全认证的过程中，往往会有需要开启对应服务组件Web UI认证的需求。在启用认证后，如果直接使用浏览器打开Web UI页面，都会提示需要进行认证。大部分情况下，都会用到下面几个步骤，来在Windows上打开需要认证的Web UI：安装Firefox浏览器安装MIT Kerberos Windows客户端配置krb5.ini文件配置Firefox的高级选项：...

环境：CDH 6.3.0已开启KerberosJava 版本: 1.8.0_181症状表现：在普通用户edwuser下，在一台CDH客户端节点机器上，执行以下sqoop import命令，将MYSQL数据导入HBASE中：sqoop import \--connectjdbc:mysql://db01:3306/test?characterEncoding=UTF-8 \--username root \--password mysql \--table cust_info \--h

目录CDP、CDH、HDP中都包含的部分CDH中存在，CDP还在准备中的部分CDP、CDH中都包含的部分HDP中存在，CDP还在准备中的部分CDP、HDP中都包含的部分CDP全新加入的部分在Cloudera和Hortonworks合并后，Cloudera公司推出了新一代的数据平台产品CDP Data Center（以下简称为CDP），在2019年11月30日已经正式GA。CDP的版本号延续了之前CDH的版本号，从7.0开始，目前最新的版本号为7.0.3.0。那么CDP对比之前的Cloudera Ent