- 博客(5)
- 收藏
- 关注
RSS订阅转载 在Apache Spark中使用UDF
用户自定义函数（UDF）是大多数SQL环境的一个关键特性，其主要用于扩展系统的内置功能。UDF允许开发人员通过抽象其低级语言实现在更高级语言（如SQL）中应用的新函数。Apache Spark也不例外，其为UDF与Spark SQL工作流集成提供了各种选项。 在本篇博文中，我们将回顾Python、Java和Scala上的Apache Spark UDF和UDAF（用户自定义的聚合函数）实现的简单示...
2019-06-14 10:46:45
110
转载 在Apache Spark中使用UDF
用户自定义函数（UDF）是大多数SQL环境的一个关键特性，其主要用于扩展系统的内置功能。UDF允许开发人员通过抽象其低级语言实现在更高级语言（如SQL）中应用的新函数。Apache Spark也不例外，其为UDF与Spark SQL工作流集成提供了各种选项。 在本篇博文中，我们将回顾Python、Java和Scala上的Apache Spark UDF和UDAF（用户自定义的聚合函数）实现的简单示...
2019-06-14 10:46:42
163
转载 在ZooKeeper组件上停用JMX agent之后如何允许cm继续监控ZooKeeper的运行状态
摘要In TSB 2019-310 the workaround we asked users to do was to disable Zookeeper monitoring. However turning off the monitoring of Zookeeper service can be risky. This article explain the workaround whi...
2019-06-05 11:59:45
250
转载 CDH初期集群构建方案建议
集群规模计算集群规模取决于用户数据及应用需求，最终规划值为以下各种计算方式得出的最小集群规模的最大值• 容量需求– 估算相对容易且准确– 大多数案例可以通过容量来决定集群规模• 计算需求– 准确的估算计算资源只能通过小规模测试并合理估算• 其他资源限制– 如用户MapReduce应用可能对内存等资源有特殊要求，且单节点可配置资源相对有限，则集群最小规模需满足用户此类资...
2019-06-04 10:55:12
203
转载 Cloudera Manager和CDH升级流程
1.Cloudera升级概述 升级包括两个主要的步骤，升级Cloudera Manager和升级CDH群集 升级CM： *升级CM时 可以使用rpm命令； Cloudera Manager升级时，Cloudera Navigator也会升级。 升级CDH： *CM和CDH不需要同时升级，但CM和CDH的版本必须兼容。Cloudera Manager 6.0可以管理运行CDH 5.7到CDH 5.1...
2019-06-03 14:05:46
323
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人