cm管理器安装的CDH添加HIVE UDF函数,两种方式

在hive引入自定义的udf函数,下面简单记录下怎么在cm安装的cdh下面引入,一种是函数客户端关闭后就失效了,一种是永久性的,详见下面:

  • 1.临时的:

在如下目录下面创建auxlib

/etc/hive/auxlib

将jar添加到该目录下

然后在cm管理器的hive配置文件里面找到:
添加属性:
这里写图片描述

/etc/hive/auxlib

在配置文件里面找到:
添加属性:

这里写图片描述

HIVE_AUX_JARS_PATH=/etc/hive/auxlib

然后在hive客户端创建临时函数

  • 2.永久的:

详见apache:
https://cwiki.apache.org/confluence/display/hive/LanguageManual+DDL#LanguageManualDDL-CreateFunction
将jar包上传到hdfs

hadoop dfs -mkdir /user/hive/udf
hadoop dfs -put udftest.jar /user/hive/udf/

然后创建永久性函数:

CREATE FUNCTION functionname AS 'com.lijie.test.udf.GetId' using jar 'hdfs://master:8020/user/hive/udf/udftest.jar.jar';
  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
您好!要进行CM自动化安装CDH,您可以按照以下步骤进行操作: 1. 首先,确保您已经将Cloudera Manager(CM安装在您的主机上。您可以从Cloudera官方网站上下载并安装最新版本的CM。 2. 确保您的环境满足CDH的要求。CDH对操作系统、Java版本、内存等有一定的要求,请参考Cloudera官方文档以获取详细信息。 3. 在CM主机上,编辑`/etc/cloudera-scm-agent/config.ini`文件,设置`server_host`参数为CDH集群管理节点的主机名或IP地址。 4. 启动Cloudera Manager Agent服务: ``` sudo service cloudera-scm-agent start ``` 5. 打开浏览器,访问CDH集群管理节点的Cloudera Manager Web UI。默认情况下,它的地址是`http://<hostname>:7180`。 6. 在Cloudera Manager Web UI中,按照提示进行初始化配置。这将包括设置数据库、配置CDH版本等。 7. 在“添加主机”页面上,添加所有要包含在CDH集群中的主机。您可以选择手动添加主机或使用自动发现功能。 8. 配置CDH服务。在Cloudera Manager Web UI中,导航到“主页”>“管理”>“添加服务”。选择您需要安装CDH服务,如HDFS、YARN、HBase等,并按照提示进行配置。 9. 配置角色和服务。在Cloudera Manager Web UI中,导航到“主页”>“管理”>“主机”。选择每个主机上的角色,将其分配给相应的服务。 10. 在Cloudera Manager Web UI中,启动CDH服务。导航到“主页”>“管理”>“主机”,选择每个主机上的角色,并选择“启动”选项。 11. 验证CDH集群是否成功安装。您可以通过Cloudera Manager Web UI中的监控和状态页面来检查各个服务和角色的状态。 这些步骤提供了CM自动化安装CDH的基本指导,但具体操作可能会因环境和需求而有所不同。建议您参考Cloudera官方文档以获取更详细和准确的信息。祝您安装成功!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值