一些杂项
文章平均质量分 57
日常某些操作,偶尔想记一下,方便下次使用的一些
韩家小志
这个作者很懒,什么都没留下…
展开
-
CronTrigger--Cron表达式
如果您需要一个基于日历类概念(而不是基于SimpleTrigger的精确指定间隔)递归的作业触发计划,那么CronTrigger通常比SimpleTrigger更有用。支持日历相关的重复时间间隔(比如每月第一个周一执行),而不是简单的周期时间间隔使用CronTrigger,您可以指定休假时间表,如“每周五中午”或“每个工作日和上午9:30”,甚至“一月期间每周一、周三和周五上午9:00到10:00之间每5分钟”。原创 2023-12-05 23:27:10 · 85 阅读 · 0 评论 -
union和union all的区别
union和union all的区别union和union all的区别注意Union因为要进行重复值扫描,所以效率低。如果合并没有刻意要删除重复行,那么就使用Union All两个要联合的SQL语句 字段个数必须一样,而且字段类型要“相容”(一致);如果我们需要将两个select语句的结果作为一个整体显示出来,我们就需要用到union或者union all关键字。union(或称为联合)的作用是将多个结果合并在一起显示出来。union和union all的区别union会自动原创 2021-03-12 11:33:34 · 199 阅读 · 0 评论 -
为什么要加上ROW FORMAT DELIMITED NULL DEFINED AS ‘‘;?
create table if not exists db_app.app_pageview_rate( daystr string, step string, numb int, rate double, retained double)ROW FORMAT DELIMITED NULL DEFINED AS '';为什么要加上ROW FORMAT DELIMITED NULL DEFINED AS ‘’;?功能:将Hive的这张表中的null设置为空注意:Hive中的N原创 2021-03-12 11:33:46 · 2480 阅读 · 0 评论 -
hive--正则匹配
文章目录1、匹配含有中文的2、匹配纯中文的3、匹配不含有中文的4、匹配只包含小写英文5、匹配不包含任何英文字符6、参考拓展1、匹配含有中文的name regexp '[\\u4E00-\\u9FFF]+'2、匹配纯中文的1)name not REGEXP '[u0391-uFFE5]'2)regexp_like( name,'[\u4e00-\u9fa5]+','') =true3、匹配不含有中文的not regexp(name,'[\\u4E00-\\u9FFF]+')转载 2021-06-29 10:19:05 · 2787 阅读 · 0 评论 -
hive对有null值的列进行avg,sum,count等操作时会不会过滤null值
在hive中,我们经常会遇到对某列进行count、sum、avg等操作计算记录数、求和、求平均值等,但这列经常会出现有null值的情况,那这些操作会不会过滤掉null能呢?下面我们简单测试下:with tmp as(select null as col1union allselect 666 as col1union allselect 999 as col1)select avg(col1) avg_numm , sum(col1) sum_num , count(1) cnt.原创 2021-03-12 14:19:30 · 4500 阅读 · 1 评论 -
正则表达式基本语法
文章目录普通字符非打印字符特殊字符限定符定位符选择普通字符普通字符包括没有显示指定为元字符的所有可打印和不可打印字符。这包括所有大写和小写字母,所有数字,所有标点符号和其他一些符号。非打印字符非打印字符也可以是正则表达式的组成部分。下面列出表示非打印字符的转义序列:字符描述\cx匹配由x指明的控制字符。例如, \cM 匹配一个 Control-M 或回车符。x 的值必须为 A-Z 或 a-z 之一。否则,将 c 视为一个原义的 ‘c’ 字符。\f匹配一个换页符原创 2021-10-21 20:28:15 · 97 阅读 · 0 评论 -
adb/mysql中的sum加不加group by
文章目录前言数据表的内容==没有group by==,就==只能有一条==,sum得到的是==总数====有group by==,就分组了,sum得到的是==分组后的n条==,==每一个组的总数==前言adb语法参考数据表的内容没有group by,就只能有一条,sum得到的是总数有group by,就分组了,sum得到的是分组后的n条,每一个组的总数...原创 2021-05-31 12:55:46 · 2898 阅读 · 2 评论 -
hive--小文件问题
@TOC小文件如何产生hive的底层存储是HDFS,默认的块大小是128M,通常小于默认块大小,HDFS默认也算一个block, 所以产生小文件主要有以下几种:1、数据源本身就包含有大量的小文件。2、使用spark/flink实时写hive时,根据业务的时间窗口(10s,20s)落地hive表,产生很多小文件。3、采用动态分区也会产生很多小文件。4、reduce的个数输出。默认reduce个数和落地hive文件个数一样。小文件带来的影响1、从Hive的角度看,小文件会开很多map原创 2021-10-07 01:55:41 · 1388 阅读 · 0 评论 -
hive--如何保证concat_ws内部有序
SELECT m.city_id city_code ,m.class_id ct_class_id ,regexp_replace(concat_ws(',',sort_array(collect_set(concat_ws(':',cast(row_id AS string),tea_emp_nos)))),'\\d+\:','') cla_teacher_emp_nos ,regexp_replace(concat_ws(',',sort_array(原创 2022-02-07 14:35:08 · 4100 阅读 · 4 评论 -
mysql时间格式
概览mysql数据库时间上总共有五中表示方法:它们分别是 time、date、datetime、timestamp和year。类型名称日期格式日期范围存储需求YEARYYYY1901 ~ 21551 个字节TIMEHH:MM:SS-838:59:59 ~ 838:59:593 个字节DATEYYYY-MM-DD1000-01-01 ~ 9999-12-33 个字节DATETIMEYYYY-MM-DD HH:MM:SS1000-01-01原创 2021-11-16 13:06:50 · 6184 阅读 · 0 评论 -
hive--去除特殊字符regexp_replace
文章目录regexp_replace`'\t abc \n def \r hij'`→ `' abc def hij'``'\t abc \n def \r hij'`→`'abcdefhij'`看一下其他的情况regexp_replace'\t abc \n def \r hij'→ ' abc def hij'select regexp_replace('\t abc \n def \r hij', '\n|\t|\r|', ''); ' abc def hij''\t abc \n原创 2021-06-29 10:11:26 · 10739 阅读 · 0 评论 -
hive/spark--left semi/anti join
文章目录简介特点图例简介LEFT SEMI JOIN (左半连接)是 IN/EXISTS 子查询的一种更高效的实现。只存在 left SEMI JOIN,不存在SEMI JOIN 和 right SEMI JOISemi Join,也叫半连接,是从分布式数据库中借鉴过来的方法。它的产生动机是:对于reduce side join,跨机器的数据传输量非常大,这成了join操作的一个瓶颈,如果能够在map端过滤掉不会参加join操作的数据,则可以大大节省网络IO,提升执行效率。实现方法很简单:选取原创 2021-12-14 09:43:17 · 2758 阅读 · 1 评论 -
idea-mac下常用快捷代码&快捷键(如何调整&新增&使用)
换电脑+好长时间没有使用idea了,好多快捷代码和快捷键忘了,之前有过笔记,这里再整理一下,方便自己查看,大家有兴趣也可以自己记录一下参考了很多篇文章,以及自己测试,这里给大家推荐几个我认为写的不错的【史上最全面的 IntelliJ IDEA 教程】 不要再找了,这篇博客就够了!史上最全的IDEA快捷键总结Idea 中最常用的10款插件,提高开发效率Eclipse 最牛逼的 10 组快捷键,提高开发效率史上最牛逼的 VSCode 插件,提高开发效率史上最全的 VsCode 快捷键,提高开发效率。原创 2023-11-08 20:35:11 · 122 阅读 · 0 评论 -
Mac--终端ls报错Operation not permitted
记录每次换新电脑的一堆无意义的报错解决原创 2023-10-31 22:58:02 · 2003 阅读 · 1 评论 -
t-service
文章目录前言if 判断多个判断in分页前言最近使用t-service配置接口,记录回忆一下mybatis的一些用法当然,也可以参考之前记录的一篇→Mybatis–动态SQL报错可以参考→配置t-service时MyBatis报错集锦if 判断name是传参<if test="name!=null and name.trim()!=''"> and name like '%${name}%' </if>多个判断可以多个if判断,也可原创 2021-05-29 16:40:52 · 236 阅读 · 0 评论 -
Mac--终端tab补全&不区分大小写
进入终端,至用户目录下如果user目录里没有 .zshrc 文件,可以通过vi .zshrc 创建vi .zshrc添加如下内容autoload -Uz compinit && compinitzstyle ':completion:*' matcher-list 'm:{[:lower:][:upper:]}={[:upper:][:lower:]}' 'm:{[:lower:][:upper:]}={[:upper:][:lower:]} l:|=* r:|=*' .原创 2021-05-17 11:15:36 · 772 阅读 · 3 评论 -
最少兔子找毒药
1.原题2.转述有64瓶新冠疫苗现在其中有一瓶不小心混入了有毒物资该混入有毒物质的疫苗,小白鼠喝了之后30分钟会死亡(不用考虑剂量)那么现在只剩下30分钟了问最少使用多少只小白鼠可以100%找到有毒的那瓶(不用考虑疫苗损坏,只要喝一丁点有毒的,小白鼠30分钟就会死)提示:可以使用二进制编码解答1.将64瓶新冠疫苗从0~63进行编号2.将每一瓶疫苗根据编号转为二进制package cn.hanjiaxiaozhi.interview;/** * Author hanji原创 2021-03-11 15:16:37 · 223 阅读 · 0 评论 -
蒙特卡罗算法求Pi
扩展-蒙特卡罗算法求Pipackage cn.hanjiaxiaozhi.interview;import java.util.Random;/** * Author hanjiaxiaozhi* Desc 演示使用蒙特卡洛算法求Pi */public class PiDemo { public static void main(String[] args) { //准备x和y用来记录点的坐标 double x = 0; doubl原创 2021-02-21 16:53:41 · 349 阅读 · 0 评论 -
Windows下主机名和IP映射设置
Windows下主机名和IP映射设置涉及文件及路径作用工作原理优点1、加快域名解析2、方便局域网用户3、屏蔽网站4、顺利连接系统涉及文件及路径Hosts文件路径:C:\Windows\System32\drivers\etc作用这个文件是根据TCP/IP for Windows 的标准来工作的,它的作用是包含IP地址和Host name(主机名)的映射关系,是一个映射IP地址和Host name(主机名)的规定,规定要求每段只能包括一个映射关系,IP地址要放在每段的最前面,空格后再写上映射的原创 2021-01-21 16:10:28 · 3124 阅读 · 0 评论 -
帆软填报--导入Excel前清空数据库表
也可以参考需求自定义一个导入Excel前清空数据库表的按钮模板Web属性中的清空导入并不能真正实现清空数据库表实现思路通过在填报页面设置中添加「Excel导入前」事件,设置在 Excel 导入前清空表数据,且添加回调函数判断清空表是否完成。实现1.找到小铅笔2.拉取按钮控件到用户自定义web属性区(左数第三个)3.自定义按钮名称4.设置事件→点击5.设置事件的具体内容事件类型选择「提交入库」,提交类型选择「删除提交」,选择需要清空的数据表,通过添加字段添加主键.原创 2021-01-11 14:27:57 · 4516 阅读 · 0 评论 -
hive查看数据库内表名以及满足某一条件的表名
我之前在测试环境搞了一些临时表,隔一段时间会清理一次,记录一下吧语法:use xxx;show tables;show tables like '*v1*';演示先查出来我还有哪些表忘记随手删除了删除表这个还是要谨慎点的演示一个drop table app.hzy0102_1;...原创 2021-01-05 11:55:31 · 4292 阅读 · 0 评论 -
帆软填报--行式填报报表
帆软填报准备下载帆软设计器,自己注册账号,获取激活码定义数据连接,分为测试库和生产库两个配置帆软填报MySQL库测试环境测试帆软库建表登录测试开发工作目录为模板指定数据集为模板添加数据字段报表填报属性(报表字段和数据库字段的映射)设置模板的web属性(一些新增列,删除列等web小插件)可以调整一下表样式(颜色,大小,文本框等)web页面目录管理→添加模板测试该模板验证该模板生产准备开发环境FineReport 10.0、Microsoft Office 2013临时开发记录,非专业人员,如有错误,概原创 2020-12-22 18:36:15 · 5520 阅读 · 0 评论