关于在hive中使用udf函数编写sm4加密遇到的问题总结

最新推荐文章于 2024-06-03 12:26:38 发布
最新推荐文章于 2024-06-03 12:26:38 发布
阅读量749 收藏
点赞数 1
文章标签： hive hadoop 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/k5821/article/details/131571867
版权

在使用java进行udf函数编写的过程中发现，insert select语句 和select 语句在相同的前提条件下，加密出来的中文结果不一致。insert select加密后的数据经解密发现数据乱码。
代码示例如下：

 
//
// Source code recreated from a .class file by IntelliJ IDEA
// (powered by FernFlower decompiler)
//
 
package com.sm.hive;
 
import com.sm.util.Sm4Util;
import java.nio.charset.StandardCharsets;
import org.apache.commons.lang3.StringUtils;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDF
最低0.47元/天 解锁文章
我欲成神丶
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
mysql udf sm4_SM4国密算法Java版
weixin_39633917的博客
02-01 1548
根据 国密SM4 文档 编写的一个Java 加密解密样例package javasm4;/**** @author Jeen*/public class JavaSM4 {public static int[] key = new int[4];//密钥public static int[] temp = new int[4];//中间量 存储运算结果public static int[] rke...
hive自定义UDF编写函数.docx
01-26
hive的udf函数实现
Mysql UDF 实现sm4加解密（mysql 插件）
最新发布
xieqiansong的博客
06-03 552
要注意的地方，机器上已经安装了mysql才能编译，因为要引入mysql的头文件。编写UDF的时候注意入参和出参的长度。生成dll或so复制文件到目录、引入函数。Windows下我用的Clion编译的。Linux可以参考这个。
Hive自定义函数支持国密SM4解密
空城的博客
01-02 1002
SmUtil引用的是hutools里的工具类。
Hive UDF实现数据加密解密功能
m0_37689903的博客
09-30 1041
本文主要介绍了使用AES算法对数据进行加密和解密
hive自定义udf函数hive-exec下载依赖不全
张不帅
01-14 1449
修改pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=...
hive的自定义函数以及自定义加密函数
qq_46183404的博客
02-10 1377
hive的自定义函数以及自定义加密函数
编译hive源码-UDF函数
01-20
文章目录hive源码下载地址解压源码包配置pom文件编辑源码编辑UDF函数注册UDF函数编译hive部署编译后的hive包1. 重新部署hive2. 修改原hive hive源码下载地址 hive版本：hive-1.1.0-cdh5.7.0 百度网盘：链接：...
Hive的Udf函数进行数据脱敏
01-26
在Hive中，UDF分为三种类型：UDF（单行函数）、UDAF（累积聚合函数）和UDTF（多行转换函数）。在这里，我们只需要UDF，因为它适用于处理单行数据。 1. **编写Java类**： 要创建一个UDF，你需要编写一个Java类，该...
HIVE自定义UDF函数
05-11
而自定义用户定义函数（UDF）是 Hive 中的一个重要功能，允许用户根据自己的需求编写自定义函数，以便在 Hive 查询中使用。 如何在 Hive 中创建自定义 UDF 函数： 步骤一：编写 Java 程序 首先，您需要编写一个 ...
base64加密解密的hive udf函数
04-08
此外，由于Hive的临时函数作用于当前会话，如果需要在多个会话中使用，可以考虑创建永久函数。 总结，通过自定义Hive UDF，我们可以方便地在Hive中实现Base64的加密和解密功能，从而满足大数据处理中的安全性和灵活...
mysql解压版安装_Win10安装MySQL5.7.22 解压缩版（手动配置）方法
weixin_28769407的博客
01-18 124
直接点击下载项下载后：2.可以把解压的内容随便放到一个目录，我的是如下目录(放到C盘的话，可能在修改ini文件时涉及权限问题，之后我就改放D盘了)：D:\MySQL\MySQL Server 5.7.22如下图：此时加压后的文件中没有data目录和ini文件3.在D:\MySQL\MySQL Server 5.7.22目录下新建my.ini文件，复制如下内容[mysqld]port = 3306b...
Hive平台UDF调用实践之乱码
萧逸才的博客
09-14 1260
应用场景 从Hive数据仓库批量捞取数据通过UDF中HttpURLConnection调用至服务端； 问题 服务端拿到的中文数据部分存在乱码； 排查 1、查询MySql数据库，发现源数据非乱码且编码格式为UTF-8； 2、查询Hive数据仓库，发现数据非乱码且编码格式为UTF-8； 3、初步判断乱码发生在HttpURLConnection调用过程中； 解决 修...
Hive自定义加解密udf、udtf函数部分失效问题
weixin_42220968的博客
11-30 745
例如：业务库的手机号、身份证等敏感信息在落入数仓表前都需要进行加密后再进行存储；特定场景下业务人员会再将加密后的敏感信息进行解密后进行分析。会存在加密后数据变为空值，或者解密后数据变为空值的情况。例如：当遇到流量高峰，或者其他异常请求情况，代码逻辑中会返回空值。比如一次性加解密的数据量过大，会产生大量的请求，会存在流量异常的情况，导致返回空值。例如：每天跑批加密的时候，限制一下数据量；为了防止可能还会出现空值，可以进行二次加密，即对于第一步未加密成功的数据再次加密。
hive表乱码问题
JavaShooter的专栏
04-10 4239
1.导入到hdfs的文件是gbk编码 2.创建hive的外表部，引用gbk编码文件.hive数据utf-8编码。 3.cli查询出中文为乱码 由于数据入hive表中已为乱码，此时再进行转码已无效。
Hive函数
CSDNju_的博客
10-20 662
hive常用函数
Hive导出ORC表数据所遇到的乱码问题及其它导出问题
qq_45124566的博客
06-20 1071
Hive导出ORC表数据所遇到的乱码问题
Hive 的数据保护和加密
互联网知识分享
08-06 1044
同时，可以使用数据加密算法、数据传输加密和数据存储加密等技术来实现数据加密。数据分区是一种将数据划分成多个逻辑部分的方法，可以提高查询效率并减少数据扫描的范围。数据存储加密是指对数据在存储介质上的物理存储进行加密保护，防止数据被非法访问。数据重复检测可以帮助用户识别和删除重复的数据，以确保数据的一致性和准确性。用户可以在创建表时指定压缩格式，并且可以在查询时自动进行数据解压缩。数据清洗是一种处理脏数据或无效数据的过程，可以提高数据的质量和准确性。加密可以对数据块进行加密，确保数据在磁盘上的安全存储。
JAVA非对称加密不同系统加密结果不一致
y4356的专栏
03-22 2395
最近在做一个项目，需要用到非对称加密，但是出现一个很诡异的情况，本地开发环境是Windows环境，测试环境是Linux环境，出现一个问题， 那就是本地环境与开发环境同一个私钥字符串加密加密同一个信息，得到的加密结果不一样。 经过查询网络得知，这是由于填充的规则不同导致。 原来的加密的部分代码 byte[] keyBytes = Base64.decodeBase64(privateKey);...
编写Java 在hive udf函数中执行hivesql
06-06
可以使用Hive JDBC驱动程序来在Hive UDF函数中执行Hive SQL语句。具体步骤如下： 1. 在Hive UDF函数中获取Hive JDBC驱动程序的连接。 ``` Connection conn = DriverManager.getConnection("jdbc:hive2://localhost:10000/default", "", ""); ``` 2. 创建一个Statement对象并执行Hive SQL语句。 ``` Statement stmt = conn.createStatement(); stmt.execute("SELECT * FROM table_name"); ``` 3. 处理查询结果。 ``` ResultSet rs = stmt.getResultSet(); while (rs.next()) { // 处理查询结果 } ``` 完整的示例代码如下： ``` import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.Statement; public class HiveUDF { public static void main(String[] args) throws Exception { // 获取Hive JDBC驱动程序的连接 Connection conn = DriverManager.getConnection("jdbc:hive2://localhost:10000/default", "", ""); // 创建一个Statement对象并执行Hive SQL语句 Statement stmt = conn.createStatement(); stmt.execute("SELECT * FROM table_name"); // 处理查询结果 ResultSet rs = stmt.getResultSet(); while (rs.next()) { // 处理查询结果 } // 关闭连接 rs.close(); stmt.close(); conn.close(); } } ``` 在Hive UDF函数中使用以上代码即可执行Hive SQL语句。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值