CDH
storm_fury
本是青灯不归客,却因浊酒留红尘
展开
-
关于 Impala 时区问题及解决办法
查询使用 from_unixtime 时,遇到如图所示情况:解决办法:默认 impala 配置不是中国的时区登录CM,进入Impala服务,进入配置项Cloudera Manager -> Impala -> 配置-> Impala Daemon -> 高级增加如下参数:-use_local_tz_for_unix_timestamp_conversions-convert_legacy_hive_parquet_utc_timestamps保存..原创 2020-05-16 19:50:02 · 1824 阅读 · 1 评论 -
Cloudera Manager中安装部署Flink服务
制作Flink的Parcel包和csd文件将Parcel包和manifest.json文件部署到httpd服务中[root@node01 ~]# mkdir -p /var/www/html/cloudera-repos/flink-parcel/[root@node01 ~]# cd /var/www/html/cloudera-repos/flink-parcel/[root@...原创 2020-05-07 20:09:41 · 2299 阅读 · 3 评论 -
Cloudera Manager中安装部署Zeppelin服务
制作Zeppelin的Parcel包和csd文件将Parcel包和manifest.json文件部署到httpd服务中[root@node01 ~]# mkdir -p /var/www/html/zeppelin[root@node01 ~]# cd /var/www/html/zeppelin[root@node01 zeppelin]# cp /root/github/clo...原创 2019-05-26 13:12:28 · 1374 阅读 · 0 评论 -
制作Flink的Parcel包和csd文件
配置java,maven等环境变量java:export JAVA_HOME=/usr/local/javaexport PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar:$CLASSPATHmaven:export MVN_HOME=/usr/local...原创 2020-04-17 13:07:58 · 2765 阅读 · 3 评论 -
关于Phoenix创建的表在hbase shell的显示问题及hue中不能查询的问题
建表语句create table schema_test1 ( keys varchar not null primary key, f.f1 varchar, ...原创 2019-04-19 11:44:38 · 3666 阅读 · 0 评论 -
统一 Cloudera Manager、Hue和Oozie的时区
查看Cloudera Manager时区修改Cloudera Manager时区查看Cloudera Manager Server 服务器时区[root@cdh01 ~]# timedatectl Local time: 五 2019-05-24 12:19:36 UTC Universal time: 五 2019-05-24 12:19:...原创 2019-05-24 21:44:38 · 1134 阅读 · 1 评论 -
制作Zeppelin的Parcel包和csd文件
配置java,maven等环境变量java:export JAVA_HOME=/usr/local/javaexport PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar:$CLASSPATHmaven:export MVN_HOME=/usr/local...原创 2019-05-26 16:39:16 · 1977 阅读 · 4 评论 -
CDH 中添加 Sentry 服务
创建数据库create database sentry default character set utf8; CREATE USER 'sentry'@'%' IDENTIFIED BY '123456'; GRANT ALL PRIVILEGES ON sentry. * TO 'sentry'@'%'; FLUSH PRIVILEGES;遇到问题:1396 - O...原创 2019-06-12 10:33:58 · 1305 阅读 · 1 评论 -
Apache Sentry详细讲解
Sentry 简介Apache Sentry是Cloudera公司发布的一个Hadoop开源组件,2016年3月从Incubator毕业,成为Apache顶级项目。Sentry是一个基于角色的粒度授权模块,提供了对Hadoop集群上经过身份验证的用户提供了控制和强制访问数据或数据特权的能力。它可以和Hive/Hcatalog、Apache Solr 和Cloudera Impala等集成,...原创 2019-07-19 13:49:14 · 4566 阅读 · 0 评论 -
CDH中HDFS的部分Datanode下线
1. 准备工作及调整相关参数检查 HDFS 文件系统 hdfs fsck / -list-corruptfileblocks -openforwrite -files -blocks -locations修复检查出的问题hdfs fsck file_name -move或hdfs fsck file_name -delete调整DataNodes的堆大小HDFS -...原创 2019-07-31 14:20:52 · 3113 阅读 · 3 评论 -
CDH 配置 Sentry 服务
1. 启用Sentry服务前设置 Hive Warehouse 目录权限要点: 启用 HDFS / Sentry同步无需在Hive仓库目录上显式设置权限。启用同步后,所有 Hive 数据库和表在HDFS底层文件系统上都归属 hive : hive 。 Sentry 会把表的权限自动转换为 HDFS 底层文件的 ACL。Hive的仓库目录 /user/hive/warehouse 或者在 ...原创 2019-08-02 08:26:50 · 612 阅读 · 0 评论 -
CDH中配置启用 HBase 授权及测试
HBase启用授权配置Hbase -> 配置 -> 搜索 auth -> 勾选 HBase 安全授权 -> 保存更改Hbase -> 配置 -> 高级 -> 搜索 hbase-site.xml -> 添加配置 -> 保存更改<property> <name>hbase.security.exec....原创 2019-09-24 17:15:10 · 2006 阅读 · 0 评论 -
CDH中的Phoenix开启Schema支持
添加配置HBase --> 配置 --> 高级 --> 搜索 hbase-site.xml。在服务端和客户端均添加下面配置:<property><name>phoenix.schema.isNamespaceMappingEnabled</name><value>true</value></prop...原创 2019-04-19 09:34:37 · 4138 阅读 · 0 评论 -
使用客户端工具DBeaver连接Phoenix
新建连接在左边导航区域点击鼠标右键选择新建连接选择连接类型Phoenix设置驱动添加jar包注意:DBeaver上下载的jar无法连接成功。需在安装Phoenix的服务器下载phoenix-4.14.0-cdh5.12.2-client.jarroot@bigdata-dev-41:/opt/cloudera/parcels/APACHE_PHOENIX/li...原创 2019-04-18 17:33:36 · 8767 阅读 · 0 评论 -
Cloudera Manager CDH 集成 Kerberos
https://blog.csdn.net/u011026329/article/details/79167884?utm_source=blogxgwz4 Cloudera Manager5.11.1 集成KerberosKerberos 安装配置Cloudera提供了非常简便的Kerberos集成方式,基本做到了自动化部署。系统:Cent...转载 2018-10-23 18:10:37 · 2651 阅读 · 0 评论 -
使用自签名证书进行TLS
自签名证书将创建并存储在密钥生成过程中指定的密钥库中,并应由签名证书替换。使用自签名证书需要生成和分发证书并为证书建立明确的信任。使用自签名证书获取TLS/SSL配置的证书,用于非生产或测试环境。创建证书的目录$ mkdir -p / opt / cloudera / security / x509 / / opt / cloudera / security / jks /让Cloude...原创 2018-10-26 10:02:18 · 4650 阅读 · 0 评论 -
Cloudera Manager配置TLS加密
在群集上配置身份验证和授权时,Cloudera Manager Server会通过网络将敏感信息发送到群集主机,例如Kerberos keytabs和包含密码的配置文件。要确保此传输,必须在Cloudera Manager Server和所有群集主机之间配置TLS加密。TLS加密还用于使用HTTPS保护与Cloudera Manager管理界面的客户端连接。Cloudera Manager还支...原创 2018-10-24 17:03:43 · 7619 阅读 · 2 评论 -
OpenSSL生成并使用CA根证书签名Keytool生成的证书请求
#生成私钥[带密码][root@node00 security]# openssl genrsa -des3 -out ca.key 2048Generating RSA private key, 2048 bit long modulus…+++…+++e is 65537 (0x10001)Enter pass phrase for ca.key:Verifying - Ente...原创 2018-12-11 19:53:44 · 6088 阅读 · 2 评论 -
Cloudera Manager中安装部署Livy服务
制作Livy的Parcel包和csd文件将Parcel包和manifest.json文件部署到httpd服务中[root@node01 ~]# mkdir -p /var/www/html/livy[root@node01 ~]# cd /var/www/html/livy[root@node01 livy]# cp /root/github/cloudera/cm-livy-sc...原创 2019-04-10 10:09:06 · 4147 阅读 · 7 评论 -
CDH集群上部署Python3环境及运行Pyspark作业
Anaconda与Python版本对应关系表Anaconda2/3Python23Python25.2.03.6.52.7.145.1.03.6.42.7.145.0.13.6.32.7.145.0.03.6.22.7.134.4.03.6.12.7.134.3.13.6.02.7.134.3.03.6.02....原创 2019-04-10 17:04:49 · 6357 阅读 · 1 评论 -
CDH配置Hue组件
Hue可以使用以下两种方式访问HDFS:通过WebHDFS访问HDFSWebHDFS 具有高速良好的传输数据,因为客户端直接与Hadoop集群内的DataNode通信。通过HttpFS访问HDFSHttpFS是一种代理服务,适合于与外部系统集成。注意:WebHDFS和HttpFS都使用HTTP REST API,因此它们完全可以共同使用,但Hue必须配置使用其中一个。对于HDFS高...原创 2019-03-28 11:35:02 · 3172 阅读 · 0 评论 -
制作Livy的Parcel包和csd文件
配置java,maven等环境变量java:export JAVA_HOME=/usr/local/javaexport PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar:$CLASSPATHmaven:export MVN_HOME=/usr/local...原创 2019-04-09 17:44:21 · 3276 阅读 · 2 评论 -
Hadoop SQL客户端工具之Dbeaver安装及使用
下载Dbeaver安装包下载地址:https://dbeaver.io/download/ 卸载系统自带的mysql#检查mysql是否存在[root@hadoop01 local]# rpm -qa | grep mysqlmysql-libs-5.1.73-7.el6.x86_64#卸载[root@hadoop01 local]# rpm -e --nodeps my...原创 2019-04-18 15:00:49 · 3225 阅读 · 0 评论 -
使用SQuirreL连接CDH的Hive
下载安装包官方网址:http://squirrel-sql.sourceforge.net/解压,运行SQuirrel添加Hive驱动在cloudera官网上下载cloudera版本的JDBC驱动:详见https://blog.csdn.net/weixin_43215250/article/details/88185442测试访问Hive点击“OK”完成...原创 2019-04-23 14:55:28 · 1555 阅读 · 0 评论 -
CDH-5.11.0离线安装
相关安装包下载cm下载地址:http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.11.0_x86_64.tar.gzcdh下载地址:http://archive.cloudera.com/cdh5/parcels/5.11.0/CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcelhttp...原创 2019-01-01 02:18:39 · 3127 阅读 · 0 评论