- 博客(5)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 CDH6.x 禁用/关闭Kerberos认证、常见问题排查记录
CDH 禁用 Kerberos直接在CDHmanger页面更改，重启即可HDFShadoop.security.authentication -> simplehadoop.security.authorization -> 取消勾选dfs.datanode.address -> 改成50010dfs.datanode.http.address -> 改成50...
2019-03-11 11:08:40
2259
原创 如何在Hive & Impala中使用UDF
如何在Hive & Impala中使用UDF1、介绍如何在Hive、Impala中使用UDF函数1.如何使用Java开发Hive的自定义函数（如果使用spark sql注册UDF函数，请参考之前的博客Hive Spark Api 查询、写入、注册UDF函数，SparkSql简单操作）2.如何在Hive中创建自定义函数及使用3.如何在Impala中使用Hive的自定义函数2.UDF...
2019-03-11 10:57:43
1456
转载 Spark OOM 问题详解及解决优化方法
Spark OOM 问题详解及解决优化方法转自： http://blog.csdn.net/yhb315279058/article/details/51035631Spark中的OOM问题不外乎以下两种情况map执行中内存溢出shuffle后内存溢出map执行中内存溢出代表了所有map类型的操作。包括：flatMap，filter，mapPatitions等。shuffle后内存...
2019-03-07 16:50:12
555
原创 如何高效的使用ForeachRDD
如何高效的使用ForeachRDD对于foreachRDD的正确理解，请参考对DStream.foreachRDD的理解在spark streaming的官方文档中也有对foreachRDD的说明，请参见Design Patterns for using foreachRDD基于数据的连接在实际的应用中经常会使用foreachRDD将数据存储到外部数据源，那么就会涉及到创建和外部数据源的连...
2019-03-07 16:22:21
1137
原创 DStream.foreachRDD的简单理解
如何高效的使用ForeachRDDforeachRDD(func)的官方解释为The most generic output operator that applies a function, func, to each RDD generated from the stream. This function should push the data in each RDD to an ex...
2019-03-07 16:10:19
1120
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人