- 博客(12)
- 收藏
- 关注
RSS订阅原创 hive基础文档
用户自定义函数类别分为以下三种：一进一出聚集函数，多进一出类似于：count/max/min一进多出如 lateral view explode()编程步骤：（1）继承 Hive 提供的类（2）实现类中的抽象方法（3）在 hive 的命令行窗口创建函数添加 jar创建 function在 hive 的命令行窗口删除函数流程添加案例1.新建maven工程,添加如下依赖/*** 自定义UDF函数* 输入：Tom* 输出：hello:Tom。
2023-04-14 15:41:03
594
原创 idea中安装jrebel热部署插件
idea中安装jrebel热部署插件jrebel作用安装激活jrebeljrebel作用JRebel是一款JVM插件，它使得Java代码修改后不用重启系统，立即生效。IDEA上原生是不支持热部署的，一般更新了 Java 文件后要手动重启 Tomcat 服务器，才能生效，浪费时间浪费生命。目前对于idea热部署最好的解决方案就是安装JRebel插件。安装1.打开idea -->> file -->> Settings -->> Plugins2.搜索jre
2021-10-26 15:30:20
623
原创 hive自定义函数-手机号合法性自定义函数
hive自定义函数-手机号合法性函数简要代码结果：简要根据百度百科最新手机号码规则，编写的手机号合法判断自定义函数https://baike.baidu.com/item/%E7%94%B5%E8%AF%9D%E5%8F%B7%E7%A0%81/1417271?fr=aladdin此处仅实现了11位手机号码的实现方式代码import com.bigdata.hive.Tools.StringTools;import org.apache.hadoop.hive.ql.exec.Descript
2021-10-20 18:59:12
656
原创 hive自定义函数-空值过滤
hive自定义函数-空值过滤简要代码简要过滤数据null‘null’‘NULL’‘’’ ’‘\r\n’‘\t’‘\n’空值数据代码import org.apache.hadoop.hive.ql.exec.Description;import org.apache.hadoop.hive.ql.exec.UDF;import java.util.regex.Pattern;/** * 自定义UDF函数 * 功能：判断传入的字符是否为空 * null NULL
2021-10-20 11:30:42
553
原创 hive自定义函数-身份证号合法性判断
hive自定义函数-身份证号合法性判断简要代码简要身份证号合法性判断：若为18位身份证号：1.第18位数字，应该在身份证号最后一位校验位数字中2.前17为数字分别乘以对应的加权因子，累加，结果%11==17为数字3.数字除18位外，全为数字若位15位身份证号：1.验证前6位是为行政区号2.9-10位为月份<133.11-12位为日期<324.数据全为数字代码import org.apache.commons.lang.StringUtils;import org.ap
2021-10-19 16:53:29
1206
2
原创 hive自定义函数-基于位置的数据脱敏
hive自定义函数-基于位置的数据脱敏简要代码简要该函数，1.若想自动脱敏，可以仅传入数据即可2.若想通过自己传入位置脱敏，又不想报错，可以传入数据，开始位置，结束位置即可3.若想通过自己传入位置脱敏，且不和规数据不脱敏，代码报错，可以基于2，传入false代码package com.bigdata.hive.udf;import com.bigdata.hive.Tools.StringTools;import org.apache.hadoop.hive.ql.exec.Descri
2021-10-19 11:41:07
707
原创 数据挖掘学习笔记之matplotlib
数据挖掘学习笔记之matplotlib环境安装工具包版本安装命令折线图环境安装工具包matplotlib 画图numpy 高效运算工具pandas 数据处理工具TA-Lib 股票技术分析指标库tables 读取hdf5类型文件jupyter 数据分析与展示的平台版本matplotlib2.2.2numpy1.14.2pandas0.20.3TA-Lib0.4.16tables3.4.2jupyter1.0.0安装命令pip install matplotlib2.2.2p
2021-10-09 09:03:49
305
原创 flink cdc 实时读取MySQL全量数据，并转换为流
flink cdc读取mysql数据并转换为流代码flink cdc 实时读取MySQL全量数据，并转换为流，区分insert|update和delete代码import org.apache.flink.streaming.api.scala._import org.apache.flink.table.api._import org.apache.flink.table.api.bridge.scala._object Test{ def main(args: Array[String
2021-07-26 15:26:06
699
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人