数仓工具—Hive实战之UDF 加密(20)

最新推荐文章于 2024-08-04 00:55:56 发布
最新推荐文章于 2024-08-04 00:55:56 发布
阅读量5.1w 收藏 1
点赞数
分类专栏： Hive 实战 文章标签： hive 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/king14bhhb/article/details/123933875
版权
本文探讨了在Hive中使用UDF进行数据加密的重要性，以确保数据安全。介绍了常见的加密算法，如Base64（可逆但不安全）、MD5（不可逆且安全）和AES（可逆但不安全）。文章详细讲解了Hive自带的加解密函数，并展示了如何自定义UDF，包括MD5、Base64和AES的加密解密函数。总结中强调了UDF在数据加密和脱敏操作中的广泛应用。
摘要由CSDN通过智能技术生成

UDF 加密

其实加密或者脱敏是我们使用UDF 非常常见的一种场景，本质上都是为了数据安全，加密例如我们对用户的基本信息加密，脱敏例如我们对用户的手机号码进行脱敏。

更多UDF 可以参考我们前面的文章：

  1. Hive实战之UDF分词
  2. Hive实战之UDF解析IP地址

常见的加解密算法

开始直接我们先看一下常见的加解密算法以及它们的特点

Base64 可逆不安全

Base64不是安全领域下的加解密算法，只是一个编码算法，通常用于把二进制数据编码为可写的字符形式的数据，
特别适合在http，mime协议下的网络快速传输数据。
UTF-8和GBK中文的Base64编码结果是不同的。采用Base64编码不仅比较简短，同时也具有不可读性，即所编码的数据不会被人用肉眼所直接看到，但这种方式很初级，很简单。Base64可以对图片文件进行编码传输。

MD5 不可逆 安全
了解本专栏 订阅专栏 解锁全文 超级会员免费看
数仓-数据安全
爱吃辣条的博客
01-24 953
数仓-数据安全
数仓工具—Hive实战之UDF 复杂JSON 处理(21)
04-03 5万+
UDF 复杂JSON 处理 这个的背景和我们前面的复杂JSON 处理是一样的，起源于我们将数据推送到ES ,不然的话我们直接存储字符串，然后使用hive 提供的json 解析函数处理就好了。 阅读之前建议你阅读： [ Hive语法之json 解析](https://blog.csdn.net/king14bhhb/article/details/111999201) ​ Hive语法之复杂json解析处理 ​ Hive集成篇之ES 方便你了解这个背景，以及我们为什么要这么做，我们在复杂js
hive 加密
qq_31866793的博客
11-06 6978
Hive加密 hive-site.xml 默认情况下，Hive连接metastore数据库的用户名和密码都是在hive-site.xml配置文件中明文设置的，存在安全隐患。生产环境中，这样做是不允许的，因此我们可以采用如下对密码进行加密处理的方式。 创建.jceks文件 hadoop credential create javax.jdo.option.ConnectionPas...
Hive 的数据保护和加密
互联网知识分享
08-06 1270
同时，可以使用数据加密算法、数据传输加密和数据存储加密等技术来实现数据加密。数据分区是一种将数据划分成多个逻辑部分的方法，可以提高查询效率并减少数据扫描的范围。数据存储加密是指对数据在存储介质上的物理存储进行加密保护，防止数据被非法访问。数据重复检测可以帮助用户识别和删除重复的数据，以确保数据的一致性和准确性。用户可以在创建表时指定压缩格式，并且可以在查询时自动进行数据解压缩。数据清洗是一种处理脏数据或无效数据的过程，可以提高数据的质量和准确性。加密可以对数据块进行加密，确保数据在磁盘上的安全存储。
HIVE字段简单加密
yipiantian的博客
06-23 2400
HIVE字段简单加密
Hive UDF实现数据加密解密功能
m0_37689903的博客
09-30 1341
本文主要介绍了使用AES算法对数据进行加密和解密
数仓工具—Hive实战之 UDF GIS(16)
07-18 6万+
UDF GIS 什么是GIS GIS，全称Geographic Information System（地理信息系统）, 也称为Geographic Information Science，即地理信息科学，这样的定义是所有人再熟悉不过的了。刚学GIS的时候，看到有人说GIS是个朝阳产业，但是它永远都到不了正午。这自然是一句调侃，但也无不包含着GISer的心酸，因为GIS的定义，很多在学校和行业里学习摸爬了很多年的人也未必说得上来，进而它的作用自然也就变得模糊了起来。 GIS在发达国家亦不算是一门成熟的学科，更
数仓工具—Hive实战之UDF汉字首字母(22)
04-11 5万+
UDF 汉字首字母 今天这个业务背景其实很简单，就是公司有很多品牌，我们要提取每个名牌的第一个汉字的首字母，例如"宝马"就是 B , 然后"福特" 就是F,“长安” 就是C 。 业务背景差不多就是这样的，关于UDF 我就不再过多介绍了，已经介绍过无数次了，你可以参考前面的文章 Hive实战之UDF分词 Hive实战之UDF解析IP地址 Hive实战之UDF 加密 Hive 实战之UDF 复杂JSON 处理 所以这里我们直接上代码，出解决思路就可以了 pinyin4j 获取汉字的拼音 pinyin4j是一
数仓工具—Hive实战之UDF解析IP地址(2)
热门推荐
12-29 6万+
ip 转化为地址是非常常用的的一种UDF，UDF 读取外部文件，需要注意的是当你add file之后，你需要确定文件的路径，然后将其路径给赋值给UDF 中文件路径的变量
数仓工具—Hive实战之UDF外部依赖文件找不到(14)
06-28 5万+
关于外部依赖文件找不到的问题 其实我在上一篇的总结中也说过了你需要确定的上传的db 文件在那里，也就是你在hive 中调用add file之后 会出现添加后的文件路径或者使用list 命令来看一下 今天我们不讨论这个问题我们讨论另外一个问题，外部依赖的问题，当然这个问题的引入本来就很有意思，其实是一个很简单的事情。 为什么要使用外部依赖 重点强调一下我们的外部依赖并不是单单指的是jar包依赖，我们的程序或者是UDF 依赖的一切外部文件都可以算作是外部依赖。 使用外部依赖的的原因是我们的程序可能需要一些外部
base64加密解密的hive udf函数
04-08
NULL 博文链接：https://superlxw1234.iteye.com/blog/1586377
hive jdbc连接方式加密
09-08
hive权限，通过自定义jar对hive的10000端口进行权限管控，直接放入到hive所在的lib环境下，然后对xml文件进行相应的配置
hive添加UDF加密函数
chunyi6295的博客
08-14 2244
目的：实现MD5的加解密 1.写java代码，打jar包： import java.io.UnsupportedEncodingException; import java.security.MessageDigest; import java.security.NoSuchAlgor...
Hive数据加密：增强数据安全性
最新发布
AI天才研究院
08-04 737
Hive数据加密：增强数据安全性 1.背景介绍 1.1 大数据时代的数据安全挑战 在当今大数据时代,企业每天都在生成和处理海量数据。这些数据中往往包含了敏感信息,如用户个人信息、财务数据等。随着数据量的增长和数据价值的提升,数据安全
用hive的udf自定义函数实现对数据仓库的表数据进行RSA加密以及解密
Json_zwl的博客
11-27 2860
##udf加密 package test_rsa; import sun.misc.BASE64Decoder; import sun.misc.BASE64Encoder; import java.math.BigInteger; import java.security.KeyFactory; import java.security.interfaces.RSAPublicKey; impo...
Hive函数入门--案例：UDF实现手机号加密--代码实现与效果演示
kiritobryant的博客
11-12 1395
在企业中处理数据的时候，对于敏感数据往往需要进行脱敏处理。比如手机号。我们常见的处理方式是将手机号中间4位进行****处理。Hive中没有这样的函数可以直接实现功能，虽然可以通过各种函数的嵌套调用最终也能实现，但是效率不高，现要求自定义开发实现Hive函数，满足上述需求。通过业务分析，可以发现我们需要实现的函数是一个输入一行输出一行的函数，也就是所说的UDF普通函数。继承UDF重载evaluate注册成为临时函数（给UDF命名）；
android常用加密方案——AES实现
技术分享
05-17 1905
高级加密标准（英语：Advanced Encryption Standard，缩写：AES），是一种区块加密标准。这个标准用来替代原先的DES，已经被多方分析且广为全世界所使用。 那么为什么原来的DES会被取代呢，，原因就在于其使用56位密钥，比较容易被破解。而AES可以使用128、192、和256位密钥，并且用128位分组加密和解密数据，相对来说安全很多。完善的加密算法在理论上是无法破解的，除...
md5`加密2：udf简单实现
u012891477的专栏
06-20 1173
首先编写udf的java文件 除了导入hadoop里面的jar包之外（hadoop/share/hadoop/   : common 以及common里的lib ,mapreduce 以及mapredure 里面的lib; yarn 以及yarn里面的lib） 还需要导入hive里面的lib所有jar包 接下来是java主体部分，是把之前java上实现的拿来改一些地方： packa
hive 数据安全
大壮的博客
11-03 978
hive 数据安全 ​ 角色管理 --创建和删除角色  create role role_name;  drop role role_name;  --展示所有roles  show roles  --赋予角色权限  grant select on database db_name to role role_name;   
HiveUDF 加密
09-06
HiveUDF加密是一种在Hive中使用的用户自定义函数（UDF）的加密算法。它可以对数据进行加密以保护数据的安全性。常见的加密算法包括AES（高级加密标准）等。在Hive中，通过使用UDF函数来调用加密算法进行数据加密。引用中给出了一个AES解密的UDF函数的示例代码，该函数可以对加密的数据进行解密并返回原始数据。引用中提到了加密和脱敏是使用HiveUDF常见的场景，加密是为了保护用户信息等数据的安全性，而脱敏则是对敏感信息进行部分隐藏以保护用户的隐私。如果需要更多关于UDF的信息，可以参考引用中提供的文章。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [数仓工具—Hive实战之UDF 加密(20)](https://blog.csdn.net/king14bhhb/article/details/123933875)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不二人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值