自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

大大大大大大太阳

如果你有两个选择,就选较难的那个。

原创 CDH 禁用 Kerberos

CDH 禁用 Kerberos 直接在CDHmanger页面更改,重启即可 HDFS hadoop.security.authentication -> simple hadoop.security.authorization -> 取消勾选 dfs.datanode...

2019-03-11 11:08:40

阅读数 247

评论数 0

原创 如何在Hive & Impala中使用UDF

如何在Hive & Impala中使用UDF 1、介绍如何在Hive、Impala中使用UDF函数 1.如何使用Java开发Hive的自定义函数(如果使用spark sql注册UDF函数,请参考之前的博客Hive Spark Api 查询、写入、注册UDF函数,SparkSql简单...

2019-03-11 10:57:43

阅读数 348

评论数 0

转载 Spark OOM 问题详解及解决优化方法

Spark OOM 问题详解及解决优化方法 转自: http://blog.csdn.net/yhb315279058/article/details/51035631 Spark中的OOM问题不外乎以下两种情况 map执行中内存溢出 shuffle后内存溢出 map执行中内存溢出代表了所有m...

2019-03-07 16:50:12

阅读数 174

评论数 0

原创 如何高效的使用ForeachRDD

如何高效的使用ForeachRDD 对于foreachRDD的正确理解,请参考对DStream.foreachRDD的理解 在spark streaming的官方文档中也有对foreachRDD的说明,请参见Design Patterns for using foreachRDD 基于数据的连接 ...

2019-03-07 16:22:21

阅读数 337

评论数 0

原创 DStream.foreachRDD的简单理解

如何高效的使用ForeachRDD foreachRDD(func)的官方解释为 The most generic output operator that applies a function, func, to each RDD generated from the stream. This...

2019-03-07 16:10:19

阅读数 305

评论数 0

原创 Hive调优、介绍

不仅如此Hive的SQL还可以通过用户定义的函数(UDF),用户定义的聚合(UDAF)和用户定义的表函数(UDTF)进行扩展。 (几个函数之间的区别) Hive中不仅可以使用逗号和制表符分隔值(CSV / TSV)文本文件,还可以使用Sequence File、RC、ORC、Parquet ...

2019-02-27 17:31:26

阅读数 87

评论数 0

原创 Linux 服务器代理 上网

Linux 服务 一键安装服务代理上网 yum install squid -y 安装完成之后,配置配置文件,可以使用下面的配置文件 /etc/squid/squid.conf 更改http_port 0.0.0.0:3128为代理端口 # # Recommended minimum co...

2018-12-18 11:25:47

阅读数 1018

评论数 0

原创 Kerberos 认证的Hbase Scala Api

Kerberos 认证的Hbase Scala Api 配置文件 #Hbase 连接参数 kerberos.hbase.user21 = hbase/cdh21@HADOOP.COM kerberos.hbase.keytab21 = C:/Users/user/Desktop/keytable...

2018-12-17 15:26:36

阅读数 254

评论数 2

原创 Hive Spark Api 查询、写入、注册UDF函数,SparkSql简单操作

Hive Spark Api 查询、写入、注册UDF函数,SparkSql操作 Hive Spark insert/overwrite object ReadKerberosHive { case class Employee(name: String, phone: String) ...

2018-12-17 15:16:54

阅读数 240

评论数 0

原创 Kerberos 认证的Hive Java/Scala Api

Kerberos 认证的Hive Java/Scala Api 配置文件: #加载kerberos 配置文件,如果不加载,会默认在本地:c:/windows/krb5.ini 或者集群 /etc/krb5.conf 寻找 kerberos.conf = C:/Users/user/Des...

2018-12-17 15:02:25

阅读数 304

评论数 0

原创 Kerberos 认证的Impala Java/Scala Api

Kerberos 认证的Impala Java/Scala Api 配置文件 #Kerberos Impala JDBC 连接参数 kerberos.impala.user21 = impala/cdh21@HADOOP.COM kerberos.impala.keytab21 = C...

2018-12-17 14:53:59

阅读数 377

评论数 2

原创 Windows 配置kerberos访问并启动访问CDH 集群web UI页面

1、问题描述: CDH集群启用 HTTP Web 控制台的 Kerberos 身份验证后,FireFox下HTTP访问HDFS、Yarn、Hive、HBase等Hadoop服务的Web UI(如Namenode的50070,Yarn的8088)等出现错误 2、解决方案: 思路: windows 1...

2018-12-13 16:57:48

阅读数 1312

评论数 1

原创 Hue 集成Kerberos 导致Kerberos Ticket Renewer 起不来

报错,Kerberos Ticket Renewer 起不来,查看日志 [19/Jan/2018 07:10:08 +0000] kt_renewer INFO Renewing kerberos ticket to work around kerberos 1.8.1: /usr/b...

2018-12-13 16:35:17

阅读数 493

评论数 0

原创 Kerberos 集成到 CHD6 完整版

开始安装 一、安装之前的注意点 关于AES-256加密: 对于使用 centos5. 6及以上的系统,默认使用 AES-256 来加密的。这就需要集群中的所有节点上安装 http://stackoverflow.com/questions/18754243/securityexcepti...

2018-12-13 16:21:28

阅读数 145

评论数 0

原创 大数据集群:CDH 6.0.X 完整版 安装

Cloudera Enterprise 6.0.x 安装步骤前沿一CDH6新功能介绍二:下面开始进行CDH6安装前的准备工作:1、配置主机名和hosts解析(所有节点)2、关闭防火墙3、关闭SELinux4、添加定时任务5、禁用透明大页面压缩6、优化交换分区三:安装 CM 和 CDH1、配置 Cl...

2018-12-13 12:48:21

阅读数 1388

评论数 0

提示
确定要删除当前文章?
取消 删除