- 博客(12)
- 收藏
- 关注
RSS订阅原创 Hive自定义函数UDF、UDTF
Hive自定义函数UDF、UDTFhive中已经自带一些函数，但数量有限，有时候需要自己定义函数，自定义函数分为一下三种：1、UDF（User-Defined-Function）一进一出类似于:lower/upper/reverse2、UDAF（User-Defined Aggregation Function）聚集函数，多进一出类似于：count/max/min3、UDTF（User-Defined Table-Generating Functions）一进多出如lateral
2021-12-17 14:07:25
1264
原创 hive的开窗函数
hive的开窗函数开窗函数可用于组内数据分析排序。开窗函数的语法Function (arg1,..., argn) OVER ([PARTITION BY <...>] [ORDER BY <....>][<window_expression>])hive常用的开窗函数Function ：-- 聚合开窗函数count(); -- 窗口内总条数sum(); -- 窗口内数据的和min(); -- 窗口内最小值max(); -- 窗口内最
2021-11-22 02:02:46
3817
原创 hive的内置函数
hive的内置函数1. 数学函数四舍五入select round(3.1415926);select round(3.1415926, 3);向下取整select floor(3.1415926);向上取整select ceil(3.1415926);0-1范围内的随机数select rand();rand(int seed),指定种子将会返回固定的随机数select rand(5);幂运算函数 pow(2,3) 2的三次幂sele
2021-11-21 19:38:03
755
原创 Linux开发环境下手动安装mysql
MySQL安装1. 上传、解压mysql安装包#将MySQL的安装包提前上传到Linux的/export/software目录cd /export/softwaretar -zxvf mysql-5.7.29-linux-glibc2.12-x86_64.tar.gz -C /export/server/2.重命名cd /export/servermv mysql-5.7.29-linux-glibc2.12-x86_64 mysql-5.7.293.添加用户组与用户groupa
2021-10-15 22:23:51
94
原创 shell脚本操作Zookeeper集群（启动、关闭、查看状态）
shell脚本操作Zookeeper集群前提: 已经安装好zk集群，并且做好免密登录。脚本如下：#!/bin/batchzk_arr=("node1" "node2" "node3")echo "请选择对zk集群的操作类型"active=""PS3="请输入的选择"select var in "启动" "关闭" "查看状态"do echo "请稍后..." case $var in "启动")
2020-12-31 00:58:14
1234
1
原创 activiti7创建25张表
本人使用的是mysql8.0.13版本，所以activiti.cfg.xml配置的数据源有所不同。这是单独运行生成表结构的示例:pom文件:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http:/...
2019-01-09 01:12:18
5663
原创 进程池
进程池: 创建进程池:pool = multipercessing,Pool(进程的最大数量) 添加任务: pool.apply()是阻塞任务方式,会等待添加的任务执行完毕,才会继续向下执行 apply_asybnc() 是非阻塞的任务添加方式,只管添加,不等任务几万结束, 关闭进程池: ...
2018-06-14 11:50:37
155
原创 Python的多进程
子进程的创建: pro = multiprocessing.Process(target=子进程需要执行的方法名, args="给子进程传递的参数")执行子进程: pro.start()终止子进程的方法: pro.terminate() terminate()方法不是立即终止进程,而是通过这个方法,通知cpu终止这个进程,具体什么时间终止这个进程,要看cpu调度什么时候执行...
2018-06-14 11:49:53
300
原创 python的多线程
多线程是多任务的一种方式,多线程的目的就是解决并发,提高处理效率.多线程有两个概念: 1.并行:并行的前提是必须是多核CPU才可以发生. 并行的意思就是同时执行,成为并行 2.并发:并发可以发生在单核CPU和多核CPU中. 并发的意思就是在一定时间内执行任务,成为并发一.创建多线程的方法有两种 (一).threading...
2018-05-29 02:20:00
642
原创 Python初学一：Python基础
# TODO py中数据类型分为两种：# 1.可变数据类型 ：列表list;字典dict# 2.不可变数据类型:整数int，小数float,字符串str，元祖tuple# TODO py中字典的key不能是不可变类型# TODO 不可变数据类型进行+=运算会更换地址值，就是重新指向了一个内存中的数据# TODO 可变参数进行+=运算相当于调用extend(翻译：扩展)方...
2018-05-16 01:23:26
164
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人