- 博客(24)
- 收藏
- 关注
原创 hive sql删除执行当天的分区
一、场景描述:对于一个以日期作为分区的表,当我们要删除一个分区时alter table tb drop partition(dt='2022-05-30');如果我想每天在执行脚本前,先删除今天的分区alter table tb drop partition(dt=current_date());但这种语法Hive是不支持的:分区不能使用函数二、解决方法1、一般的解决办法是使用shell或者调度工具,每次执行脚本时将当天日期传入变量alter table tb dro
2022-05-30 11:22:14
2124
原创 FTP使用中遇到的坑
问题:FTP服务修改了端口号后,客户端在FTP上可以成功登录,但无法访问目录和传输文件原因:经过排除,发现是数据传输端口号被禁用了解释:关于FTP的数据传输端口,要先说一下FTP的两种模式:1、主动模式该模式下,FTP服务可以设置固定的数据传输端口这样会有一个问题:设置的端口在客户端上被占用,或者被防火墙拦截了,就会导致上述的问题主动模式的优势还是有的,就是端口号固定,服务端方便管理2、被动模式该模式下,FTP服务可以设置一个范围,用于数据传输端口的使用,具体的端口号在传输的
2022-04-13 18:15:41
1753
原创 hive和impala使用udf
1、Hive创建udf函数DROP FUNCTION IF EXISTS default.rsa_encoder;CREATE function default.rsa_encoder as 'com.howe.hive.udf.encoder.RsaEncoder' using jar 'hdfs://hacluster/user/hive/udf/MyUdf.jar';2、Impala创建udf函数CREATE function rsa_decoder_impala location
2022-04-06 11:47:54
2319
原创 Hive udf函数实现RSA使用
1、生成RSA密钥对(公钥和私钥)import sun.misc.BASE64Encoder;import java.security.Key;import java.security.KeyPair;import java.security.KeyPairGenerator;import java.security.SecureRandom;private static final String ALGORITHM = "RSA";private static final int KE
2022-04-06 11:23:41
1690
原创 解决idea maven打包每次都重新下载依赖包的问题
打开 File - Settings,搜索 Maven,勾选 Work offline 即可
2022-03-31 11:23:45
6915
原创 hive小技巧
1、显示表头(列明)set hive.cli.print.header=true2、hive code2 增大资源配置set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;set hive.exec.max.dynamic.partitions=80000;set hive.exec.max.dynamic.partitions.pernode=10000;set map
2022-03-29 15:35:20
3459
原创 hive调优
1、hive code2 增大资源配置set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;set hive.exec.max.dynamic.partitions=80000;set hive.exec.max.dynamic.partitions.pernode=10000;set mapreduce.map.memory.mb=8192; set mapreduce.red
2022-02-17 15:48:38
905
1
原创 修改Linux文件格式为unix
1、修改文件vi xx.sh2、修改文件格式: set fileformat=unix3、查看修改结果: set ff
2022-02-17 11:54:36
7583
原创 Java传递函数的原理
总所周知,jdk1.8以上支持使用 lambda 作为参数传递list.forEach(t -> System.out.println(t));我之前就一直有一个疑问:java也开始支持函数型的参数了?到今天真正用到,才明白其中的原理看一下 forEach的源码default void forEach(Consumer<? super T> action) { Objects.requireNonNull(action); for (T t : this
2022-01-28 09:53:59
1610
原创 beeline报错:return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
在执行beeline -u jdbc:hive2://127.0.0.1:10000 -n root -p password -e "truncate table xxx;"的时候报错:Driver: Hive JDBC (version 2.1.1-cdh6.3.2)Transaction isolation: TRANSACTION_REPEATABLE_READError: Error while processing statement: FAILED: Execution .
2021-12-13 15:43:07
2265
原创 Hive UDF实现RAS加密解密
话不多说,直接上代码RSA加密:import org.apache.commons.codec.binary.Base64;import org.apache.hadoop.hive.ql.exec.MapredContext;import org.apache.hadoop.hive.ql.metadata.HiveException;import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;import org.apache.had
2021-12-10 18:00:05
850
原创 Oracle替换特殊字符0xC2A0
方案一:SELECT replace(字段, HEXTORAW('C2A0')) FROM dual;不生效方案二:SELECT replace(字段, utl_raw.cast_to_varchar2('C2A0')) FROM dual; 还是生效方案三:SELECT replace(字段, chr(49824)) FROM dual;正解。49824是C2A0(十六进制...
2021-11-02 11:39:25
800
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人