- 博客(7)
- 收藏
- 关注
RSS订阅原创 关于在hive中使用udf函数编写sm4加密遇到的问题总结
在使用java进行udf函数编写的过程中发现，insert select语句 和select 语句在相同的前提条件下，加密出来的中文结果不一致。但如果是使用insert select 语句去查询加密字段，该加密字段是自己传入进去的，那么代码中的日志又会被打印出来。经过测试以及观察打印的日志后发现，如果使用insert select语句去查询加密字段，那么代码中的日志是不被打印的。经验证后，加密后的数据再进行解密发现中文乱码的问题解决。同时，此种情况下的中文加密后再经解密不存在乱码情况。
2023-07-06 11:34:49
600
1
原创 sqoop导出到mysql和postgre语句模板
将hive数据导出到MySQLbin/sqoop export \--connect "jdbc:mysql://IP:3306/test?useUnicode=true&characterEncoding=utf-8" \--username 用户名\--password '密码' \--table 表名\--num-mappers 1 \ ##指定map个数 默认为1--export-dir 'HDFS路径' \--input-fields-terminated-by "\t
2021-08-12 11:57:49
377
原创 MySQL批量查某个库里每张表的数据量
SELECT table_name,table_rows FROM information_schema.tablesWHERE TABLE_SCHEMA = ‘表名’ ORDER BY table_rows DESC;
2021-08-12 11:46:32
394
原创 SQL进行特殊符号的替换
SQL进行特殊符号替换使用replace语句替换换行符：REPLACE(REPLACE(字段名,CHAR(10),’’) as 字段名退格键 char(8)制表符tab char(9)换行 char(10)回车 char(13)单引号 char(39)双单引号 char(34)
2021-07-06 16:56:32
2512
原创 load语句报分区could not be cleaned up
##load语句问题在把一个分区删除后，直接使用load语句去进行overwrite into table 会报错报错如下：当我将overwrite into table 改称为 into table之后 报错消失，load成功
2021-05-10 10:23:06
296
空空如也
hive使用udf函数时，insert select 和直接select出来结果不一致
2023-06-30
TA创建的收藏夹 TA关注的收藏夹
TA关注的人