Hive教程（十三）---CDH 永久全局Hive的udf函数

最新推荐文章于 2022-11-22 16:40:58 发布
最新推荐文章于 2022-11-22 16:40:58 发布
阅读量1.4k 收藏 1
点赞数 2
分类专栏： Hive2.3+ 从入门到实战 文章标签： Hive HiveUDF 数据脱敏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/silentwolfyh/article/details/86659134
版权

目录

1、需求

2、Demo结构图及数据

3、创建Hive表加载数据

4、创建Hive的UDF函数及结果展示

1、需求：

进行公司需要做数据抽取工作，其中需要通过hive的UDF函数进行数据脱敏

demo下载路径：https://download.csdn.net/download/silentwolfyh/10939631

2、Demo结构图及数据

数据及操作步骤在doc\data中，Maven中有配置依赖和Jar包名称，只要install就可以打包。
在这里插入图片描述

#数据
1|61234522222000654321|18613718137|[email protected]|010381199909183217
2|51234522222000654322|18613718126|[email protected]|020381199909183216
3|41234522222000654323|18613718125|[email protected]|030381199909183215
4|31234522222000654324|186
了解本专栏 订阅专栏 解锁全文 超级会员免费看
北京小辉
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
hive-jdbc-2.1.1-cdh6.2.0-standalone.jar
09-24
hive-jdbc-2.1.1-cdh6.2.0（ieda等jdbc链接hive2.1.1）；cdh6.2.0安装的hive2.1.1
CDH 创建Hive UDF函数
禅意
03-18 951
导入依赖包: hive-exec.jar hadoop-common.jar 注意:函数名必须为 evaluate ，否则hive无法识别！ package com.example.hive.udf; import org.apache.hadoop.hive.ql.exec.UDF; public class udfpinyin extends UDF{ public static void main(String[] args) { udfpiny...
Hive 自定义函数UDF开发手把手教程—— 创建临时函数和永久函数
helloxiaozhe的博客
10-11 6843
Hive 自定义函数UDF开发手把手教程—— 创建临时函数和永久函数 Hive中，除了提供丰富的内置函数（见[一起学Hive]之二–Hive函数大全-完整版）之外，还允许用户使用Java开发自定义的UDF函数。开发自定义UDF函数有两种方式，一个是继承org.apache.hadoop.hive.ql.exec.UDF，另一个是继承org.apache.hadoop.hiv...
hive自定义函数udf（临时和永久函数）
zll_1234的博客
05-28 1879
hive自定义函数udf和udtf 一、UDF（user defined functions）用于处理单行数据，并生成单个数据行 1、自定义UDF 的步骤： 1.1、编写自定义的UDF函数 继承"org.apache.hadoop.hive.ql.exec.UDF"类 至少实现一个evaluate()方法，evaluate函数支持重载 例子： import org.apache.hadoop.hive.ql.exec.UDF; import java.text.ParseException; import
hive添加永久udf函数
weixin_37589026的博客
08-28 1045
maven依赖 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>1.2.1</version> ...
大数据Hive篇--UDF函数
qq_43709558的博客
10-12 6246
UDF函数
hive2.1.1-cdh6.3.2
05-08
hive JDBC jar包全家桶。由于项目使用，此jar包从国外下载费了好大劲，现分享给大家。 cdh6.3.2版本的
hive-jdbc-2.1.1-cdh6.3.2-standalone.jar
04-16
hive连接驱动
hive-jdbc-2.1.1-cdh6.3.1-standalone.jar
04-20
Hive 2.1.1 的 JDBC 连接驱动，CDH-6.3.1 版本。
Hive-2.1.1-CDH-3.6.1 相关JDBC连接驱动 Jar 包集合
04-20
02、hive-exec-2.1.1-cdh6.3.1.jar 03、hive-jdbc-2.1.1-cdh6.3.1.jar 04、hive-jdbc-2.1.1-cdh6.3.1-standalone.jar 05、hive-metastore-2.1.1-cdh6.3.1.jar 06、hive-service-2.1.1-cdh6.3.1.jar 07、libfb303-...
【Hive】函数（UDF篇）
listeningdu的博客
11-22 5817
Hive/UDF
在有Sentry控制下的CDH中部署Hive的UDF
张伟的专栏
07-01 196
在有Sentry控制下的CDH中部署Hive的UDF
hive的永久性udf函数
zwahut的专栏
05-27 1378
1、在开发工具中编辑实现函数的代码，完成之后编译打包成jar包，上传到主机XXX的/opt目录下 2、在XXX上传本地文件medUdf-0.0.1.jar到hdfs目录/hiveJar下 hadoop fs -put /opt/medUdf-0.0.1.jar /hiveJar 3、在hive命令行下执行语句，创建hive的永久性udf函数 create function def...
HIVE生成数字全局唯一键ID
weixin_42412645的博客
06-17 2493
1.row_number() over() (生成全局递增唯一ID) select row_number() over() id, a from test1 此方法会产生一个reduce。数据量比较大会产生数据倾斜。 2.生成全局唯一数字ID(非递增连续) 先将原始数据随机分成101份（可以理解为步长） create table test2 as select a, cast(rand()*100 as bigint) num from test1 再每份内排序后生成一个唯一ID select
CDH 永久全局udf
李现伟的博客
12-13 960
通过IDEA创建一个maven工程，pom.xml如下 &lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLoca...
cm管理器安装的CDH添加HIVE UDF函数，两种方式
allen的博客
06-12 3893
1.临时的： 在如下目录下面创建auxlib/etc/hive/auxlib将jar添加到该目录下然后在cm管理器的hive配置文件里面找到： 添加属性： /etc/hive/auxlib在配置文件里面找到： 添加属性：HIVE_AUX_JARS_PATH=/etc/hive/auxlib然后在hive客户端创建临时函数2.永久的：将jar包上传到hdfshadoop dfs -mkdir
hive-1.1-CDH永久注册UDF
u013013024的博客
04-04 655
第1种、创建临时函数。如在hive CLI执行下面命令hive&gt; add jar ipudf.jar;hive&gt; create temporary function iptocc as 'com.wct.hive.udf.IptoccUDF';hive&gt; select iptocc(t.col1) from t limit 10;hive&gt; drop temporary f...
12.zookeeper源码分析
colossus——bigdata的专栏
11-25 2782
开发环境：cdh5.4.8，hive1.1 最近需要开发一些永久的函数供业务使用，在hive的早期版本中，只能添加临时函数或者修改一些源代码来添加永久函数，后面找到了下面的文档来创建永久函数 Permanent Functions In Hive 0.13 or later, functions can be registered to the metastore, so they
Cannot resolve org.apache.hive:hive-jdbc:2.1.1-cdh6.3.4
最新发布
04-04
This error usually occurs when the Maven repository cannot find the required artifact for the specified version. In this case, it seems that the artifact "org.apache.hive:hive-jdbc:2.1.1-cdh6.3.4" is not available in the Maven repository. To resolve this issue, you can try the following: 1. Check if the Maven repository is properly configured in your project. Ensure that the repository URL and credentials are correct. 2. Check if the artifact is available in a different version. You can try using a different version of the "hive-jdbc" artifact. 3. If the artifact is not available in any version, you can manually download the JAR file and add it to your project's classpath. 4. You can also try adding the Cloudera repository to your project's pom.xml file. Here is an example: ``` <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> </repository> </repositories> ``` Once you have added this repository, try running the Maven command again to see if it resolves the issue.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

北京小辉

你的鼓舞将是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值