杂
一些无关联的文章 想到什么写什么
佩奇配骑
别卷了
展开
-
Hive SQL实现每小时登录时长占比指标计算
需求描述用Hive SQL实现每小时登录时长指标,登陆时间和登出时间跨整小时也需要计算登录时间登出时间登陆时长(s)2022-04-04 08:00:102022-04-04 11:20:2012010如上面表格所示,原始数据需转换为下面表格情况,每个整小时也需要计算登陆时间段登陆时间登出时间082022-04-04 08:00:102022-04-04 09:00:00092022-04-04 09:00:002022-04-04原创 2022-04-04 15:42:55 · 2496 阅读 · 3 评论 -
Mac环境下安装HomeBrew
由于原来安装的是国外镜像导致大多数时候出现错误,现在改成国内镜像并且是一件傻瓜式安装 很棒/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"`在这里插入代码片`转载 2021-07-21 19:08:26 · 132 阅读 · 0 评论 -
Hive UDF函数详解
UDF的定义UDF(User-Defined Functions)即是用户定义的hive函数。hive自带的函数并不能完全满足业务需求,这时就需要我们自定义函数了UDF的分类UDF:one to one,进来一个出去一个,row mapping。是row级别操作,如:upper、substr函数 UDAF:many to one,进来多个出去一个,row mapping。是row级别操作,如sum/min。 UDTF:one to many ,进来一个出去多个。如alteral view与ex转载 2020-06-01 14:31:50 · 1869 阅读 · 0 评论 -
Linux下切分文件并生成规则文件名的方法
最近接到了个需求:将生成的文件按照1000行切分成一个文件并且重新命名为.txt文件 拿到需求后我看 这不挺简单的 split方法就ok了 但是...切割后的文件不能自动添加扩展名和按规律命名所以一顿查找 最后算是解决掉了分割后命名无规律的问题 现在记录一下先来个split的简单介绍split支持自定义输出文件大小和输出文件行数两种模式,此外还可以定义每一行最大的值。...原创 2020-03-05 15:49:47 · 815 阅读 · 0 评论 -
Kafka的副本及ACK机制
先来几个名词解释AR(Assigned Repllicas):分区中所有副本的统称ISR(In-Sync Replicas):由所有与leader副本保持一定程度同步的副本(包括Leader)组成的集合ISR集合是AR集合中的一个子集。在kafka中 消息会先发送到leader副本,然后follower副本才能从leader副本中拉取消息进行同步,同步期间内follower副本相对于l...原创 2020-01-06 16:32:44 · 1225 阅读 · 0 评论 -
如何优雅的关闭HiveMetaStore服务进程
最近在自己电脑配置了spark与hive的集成 避免不了用到hive metastore服务 但是这个鬼东西开启容易关闭难索性写了个脚本 可以一键关闭 思路是从kafka关闭脚本获取到的1.在hive的安装目录下的/bin执行touch stop-metastore.sh #创建脚本文件chmod 777 stop-metastore.sh #给文件赋权2.在创建的...原创 2019-09-16 11:18:31 · 5058 阅读 · 4 评论