- 博客(873)
- 资源 (15)
- 收藏
- 关注
RSS订阅转载 ClickHouse，让查询飞起来！！！
在 1 亿数据集体量的情况下，ClickHouse 的平均响应速度是 Vertica 的 2.63 倍、InfiniDB 的 17 倍、MonetDB 的 27 倍、Hive 的 126 倍、MySQL 的 429 倍以及Greenplum 的 10 倍。扫描对应字段的 mark 标记文件获取两个偏移量信息（当前要查找的数据，处于这个 .bin 数据文件中的那个 压缩数据块，这个压缩数据块在 .bin 文件的偏移量， 这个压缩数据块解压缩出来之后，要找的数据在当前这个压缩数据块的偏移量）
2022-10-20 18:50:31
1771
转载 Java中Beta、Alpha、RC、RELEASE、GA、SNAPSHOT等版本分别代表什么意思？
这两天 Apache Log4j2 的漏洞被闹的沸沸扬扬，一方面是大家热衷于炒作，另一方面是好久没有热闹的消息了，沉寂了太久，需要爆发一波！回归理性来看，Apache 这波漏洞修复，来来回回发了好几个版本，今天早上起来，我发现又发了一个版本。候选版本这是又出什么幺蛾子了吗？我们几百上千个服务，才升级了版本。这又是闹哪一出，不会是要变成下一个 fastjson 了吧。上面是一个题外话，我们回归今天的主题。等等，每个版本的后缀分别代表什么意思呢？不知道有多少人知道，或了解过？
2022-10-18 10:21:54
3276
转载 java日志组件（common-logging，slf4j、log4j、logback 等）
Java 界里有许多实现日志功能的工具，最早得到广泛使用的是 log4j，许多应用程序的日志部分都交给了 log4j，不过作为组件开发者，他们希望自己的组件不要紧紧依赖某一个工具，毕竟在同一个时候还有很多其他很多日志工具，假如一个应用程序用到了两个组件，恰好两个组件使用不同的日志工具，那么应用程序就会有两份日志输出了。
2022-10-18 09:43:37
1840
原创 @Select @SelectProvider中使用＜foreach＞时不生效问题
解决办法：、等标签属于xml语法，必须配合标签使用。问题：@Select @SelectProvider中使用时不生效。
2022-10-12 18:34:39
963
转载 flink基本原理介绍 和 与其他流处理工具比较
Apache Flink是一个开源的分布式、高性能、高可用的流处理框架。主要有Java代码实现，支持scala和java API。支持实时流（stream）处理和批（batch）处理，批数据只是流数据的一个极限特例。Flink原生支持了迭代计算、内存管理和程序优化。
2022-09-19 23:14:27
528
转载 方法断点可能会导致Debug 模式启动变慢千倍问题
我上周遇到了一个莫名其妙的搞心态的问题，浪费了我好几个小时。气死我了，拿这几个小时来敲（摸）代（摸）码（鱼）不香吗？主要是最后问题的解决方式也让我特别的无语，越想越气，写篇文章吐槽一下。先说结论，也就是标题：在本地以 Debug 模式启动项目的时候，千万不要在方法上打断点！千万不要！首先什么是方法断点呢？比如这样的，打在方法名这一行的断点：你点击 IDEA 里面的下面这个图标，View Breakpoints，它会给你弹出一个框。...
2022-08-18 09:36:38
2293
6
转载 Sqlserver 根据年月获取第一天和最后一天
函数datediff(month, 0, getdate())是计算当前日期和“1900-01-01 00:00:00.000”这个日期之间的月数。下一个函数是DATEADD，增加当前日期到“1900-01-01”的月数。通过增加预定义的日期“1900-01-01”和当前。记住：日期和时间变量和毫秒一样是从“1900-01-01 00:00:00.000”开始计算的。这就是为什么你可以在。这个计算的技巧是先计算当前日期到“1900-01-01”的时间间隔数，然后把它加到“1900-01-01”上来获得特。.
2022-08-15 18:01:47
4301
转载 面试官：2PC提交协议是什么？
二阶段提交(Two-phaseCommit)是指，在计算机网络以及数据库领域内，为了使基于分布式系统架构下的所有节点在进行事务提交时保持一致性而设计的一种算法(Algorithm)。通常，二阶段提交也被称为是一种协议(Protocol))。在分布式系统中，每个节点虽然可以知晓自己的操作时成功或者失败，却无法知道其他节点的操作的成功或失败。...
2022-08-09 00:04:43
265
转载 bootstrap的select2下拉框在modal弹框下输入框不显示，官方解决办法：设置dropdownParent
采用select2控件，在bootstrap的modal弹框中，会出现下拉框中没有输入框。网上走一圈，基本上解决办法都是2个，但我要说的是：这2个方法都不是最好的。因为官方就有解决方案，而且非常简单。官方解决办法：设置dropdownParent。...
2022-08-05 16:12:07
1925
原创 Docker-查看镜像仓库中镜像的版本信息
通过docker安装某个软件时，经常需要选择版本号否则默认安装lastest，docker search只能查询出docker仓库中是否存在该软件的镜像并不能查看到版本号，如果想要查看某docker镜像的全部版本，就需要用到以下方式。...
2022-08-03 10:15:01
16556
转载 docker出现问题：The container name “/XXX“ is already in use by container 解决方案
docker出现问题：The container name “/XXX“ is already in use by container 解决方案
2022-08-02 11:16:26
9439
转载 windows基于docker安装clickhouse21.4.6.55教程
windows基于docker安装clickhouse21.4.6.55教程
2022-08-02 11:13:51
694
转载 IDEA如何将Git回退到某个版本
虽然能将本地及远程仓库都恢复到某次提交，但是不会产生commit记录，导致在该分支共同开发的其他人下次提交时，会把你已经回退的代码再次提交上去，你的回退失败了。后来，按照这篇文章的步骤操作，测试有效，因为可以产生一条提交记录，这样别人同步代码时会同步下来你的最新提交记录。3.此时我们有两个版本号，一个是当前版本号，一个是要回退的版本号，点击RestHEAD,将。5.此时只需要提交代码就行，就产生了一条提交记录，完成了回退。代码，我们再次点击RestHEAD，并。4.此时已经回到之前的版本，但是此时。...
2022-08-01 18:06:47
14138
5
转载 服务老是被攻击，如何设计一套比较安全的接口访问策略？
大家好，我是老王，最近接手了一个项目，兴致勃勃的准备大干一场，结果一顿渗透测试下来我都快傻了。什么防重放攻击，请求体篡改，越权攻击，都整上来了，好嘛，我都不清楚这个项目这半年是怎么度过的。不知道大家公司对接口安全这块是怎么考量的，但是对于面向公网提供服务的产品来说，这个可以说是很致命的了。那么，该如何设计一套比较安全的接口访问策略呢？...
2022-07-28 10:38:37
685
转载 (单点登录、SSO)公司系统太多，如何实现账号互通
大家好，我是老王，最近开发新产品，然后老板说我们现在系统太多了，每次切换系统登录太麻烦了，能不能做个优化，同一账号互通掉。作为一个资深架构狮，老板的要求肯定要满足，安排！一个公司产品矩阵比较丰富的时候，用户在不同系统之间来回切换，固然对产品用户体验上较差，并且增加用户密码管理成本。也没有很好地利用内部流量进行用户打通，并且每个产品的独立体系会导致产品安全度下降。因此实现集团产品的单点登录对用户使用体验以及效率提升有很大的帮助。那么如何实现统一认证呢？我们先了解一下传统的身份验证方式。...
2022-07-28 09:10:41
3048
转载 别再乱打日志了，这份 Java 日志规范，应有尽有，建议收藏！！
在程序中写日志是一件非常重要，但是很容易被开发人员忽视的地方。写好程序的日志可以帮助我们大大减轻后期维护压力。在实际的工作中，开发人员往往迫于巨大时间压力，而写日志又是一个非常繁琐的事情，往往没有引起足够的重视。开发人员应在一开始就养成良好的日志撰写习惯，并且应在实际的开发工作中为写日志预留足够的时间。...
2022-07-28 09:04:10
214
转载 sql server字符集（Chinese_PRC_CI_AS等）
2.在中文字符集下使用nvarchar，最大长度可定义4000,这个4000是指字符个数（len()），即最大可以保存4000个英文字符，4000个中文字符；使用N''时，中文占2个字节，只可以存x/2个汉字，没有乱码，取出仍为汉字,说明在英文字符集下通过使用N''是可以保存汉字的；不论使用不使用N''，中文字符都占1个字节,即可以存x个中文，但只保存前半截中文编码，所以select结果为乱码；不使用N''时，中文占1个字节，可以存x个汉字，但都只存入汉字前半截字符编码，显示为乱码；...
2022-07-20 00:03:53
6788
转载 大数据调度平台Airflow（七）：Airflow分布式集群搭建原因及其他扩展
扩展Master后的Airflow集群中只能运行一个Scheduler，那么运行的Scheudler进程挂掉，任务同样不能正常调度运行，这种情况我们可以在两台机器上部署scheduler，只运行一台机器上的Scheduler进程，一旦运行Schduler进程的机器出现故障，立刻启动另一台机器上的Scheduler即可，这种就是SchdulerHA，我们可以借助第三方组件airflow-scheduler-failover-controller实现Scheduler的高可用。，从而分布式处理任务。...
2022-07-17 23:18:57
975
转载 大数据调度平台Airflow（六）：Airflow Operators及案例
定义依赖的触发规则，包括选项如下{all_success|all_failed|all_done|one_success|one_failed|none_failed|none_failed_or_skipped|none_skipped|dummy(无条件执行)}defaultisall_success。在“bash_command”中写执行脚本时，一定要在脚本后跟上空格，有没有参数都要跟上空格，否则会找不到对应的脚本。...
2022-07-17 23:17:08
3666
转载 大数据调度平台Airflow（五）：Airflow使用
以上python文件就是Airflowpython脚本，使用代码方式指定DAG的结构。
2022-07-17 23:12:43
9169
2
转载 大数据调度平台Airflow（四）：Airflow WebUI操作介绍
DAGDAG有对应的id,其id全局唯一，DAG是airflow的核心概念，任务装载到DAG中，封装成任务依赖链条，DAG决定这些任务的执行规则。点击以上每个DAG对应的id可以直接进入对应“GraphView”视图，可以查看当前DAG任务执行顺序图。以上“Runs”列与“RecentTasks”列下的“圆圈”代表当前DAG执行的某种状态，鼠标放到对应的“圆圈”上可以查看对应的提示说明。TreeViewGraphView日期视图，显示当前年每月每天任务执行情况。TaskTriesGantt。...
2022-07-17 23:09:03
721
转载 大数据调度平台Airflow（三）：Airflow单机搭建
Airflow是基于Python的，就是Python中的一个包。安装要求Python3.6版本之上，MetadataDataBase支持PostgreSQL9.6+，MySQL5.7+，SQLLite3.15.0+。
2022-07-17 23:02:32
2813
1
转载 大数据调度平台Airflow（二）：Airflow架构及原理
描述DAG中一个具体task要执行的任务，可以理解为Airflow中的一系列“算子”，底层对应pythonclass。Task是Operator的一个实例，也就是DAG中的一个节点，在某个Operator的基础上指定具体的参数或者内容就形成一个Task，DAG中包含一个或者多个Task。一个DAG中可以有很多task，这些task执行可以有依赖关系，例如task1执行后再执行task2，表明task2依赖于task1，这就是task之间的依赖关系。查询任务状态、详细日志等。...
2022-07-17 22:58:48
2198
转载 大数据调度平台Airflow（一）：什么是Airflow
ApacheAirflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台，与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起，2016年3月进入Apache基金会，在2019年1月成为顶级项目。Airflow采用Python语言编写，提供可编程方式定义DAG工作流，可以定义一组有依赖的任务，按照依赖依次执行，实现任务管理、调度、监控功能。...
2022-07-17 22:56:38
972
转载 SQLite、MySQL、PostgreSQL：关系型数据库比较
自1970年埃德加·科德提出关系模型之后，关系型数据库便开始出现，经过了40多年的演化，如今的关系型数据库种类繁多，功能强大，使用广泛。面对如此之多的关系型数据库，我们应该如何权衡找出适合自己应用场景的数据库系统呢？一下便是SQLite、MySQL和这三个常用的、流行的关系型数据库管理系统（RDBMS），希望能对你有所帮助。O.S.Tezer分别从数据库支持的数据类型、优势、劣势、何时应该使用以及何时不应该使用该数据库这5个方面对SQLite、MySQL和PostgreSQL做了比较。...
2022-07-16 10:00:08
1403
转载 PostgreSQL大小写敏感
学习hibernate的时候，数据库用了PostgreSQL，第一节课就抛错，User实体映射没有死活不能导出表。总是提示这一句： ERROR: syntax error at or near "User"。 后来发现，如果把表名设成t_user这样的就行了，难道PostgreSQL不能用大写？又试试T_User，没有报错，到数据库里一看，哎？还是t_user！大写自动变小写了。PostgreSQL不识别大小写？用pgAdmin图形化界面创建一个User表完全没问题啊。....
2022-07-14 15:07:09
3264
转载 在Java项目中使用traceId跟踪请求全流程日志
最近在项目开发中遇到了一些问题，项目为多机部署，使用kibana收集日志，但并发大时使用日志定位比较麻烦，大量日志输出导致很难筛出指定请求的全部相关日志，以及下游服务调用对应的日志。因此计划对项目日志打印进行一些小改造，使用一个traceId跟踪请求的全部路径，前提是不修改原有的打印方式。想要跟踪请求，第一个想到的就是当请求来时生成一个traceId放在ThreadLocal里，然后打印时去取就行了。但在不改动原有输出语句的前提下自然需要日志框架的支持了，搜索的一番发现主流日志框架都提供了MDC功能。MDC
2022-07-04 14:57:05
3928
转载 接口文档生成和管理解决方案：Smart-Doc+Torna
通过Smart-Doc生成接口文档并推送到Torna接口文档管理平台上。用户(前端、后端人员、外部人员)通过文档管理平台查看、编辑接口文档等。直接看smart-doc官网也可以的：https://smart-doc-group.github.io/#/zh-cn/start/quickstart文件内容：可以直接看官网：https://smart-doc-group.github.io/#/zh-cn/torna/tornaIntegration...
2022-06-30 13:37:19
4219
转载 springcloud feign 接口指定接口服务ip方式
这篇文章主要介绍了springcloud feign 接口指定接口服务ip方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2022-06-12 18:34:16
3110
1
原创 Springcloud中Controller和Feign的日志切面实现
组件Feign自身的日志是debug级别并且日志行数太多，不符合我们精简日志的要求，故自己实现日志切面。
2022-06-09 00:26:15
1046
1
转载 log4j2 ThresholdFilter onMatch/onMismatch neutral/accept
在log4j2里面日志有8个等级，由低到高是：all
2022-06-08 14:47:32
2892
1
转载 Spring AOP简单使用--@Aspect注解
每次想写切面时都会忘记细节，只能去翻以前的代码，很尴尬，在这里记录一下大致的使用。依赖 <dependency> <groupId>org.aspectj</groupId> <artifactId>aspectjweaver</artifactId> <version>1.9.2</version> </d
2022-05-26 18:06:09
604
转载 Spring AOP之ProceedingJoinPoint和JoinPoint一些概念和机制
spring AOP之proceedingjoinpoint和joinpoint区别（获取各对象备忘）、动态代理机制及获取原理代理对象、获取Mybatis Mapper接口原始对象现在AOP的场景越来越多，所以我们有必要理解下和AOP相关的一些概念和机制。基础知识和原理类大家搜索spring aop/aspectj，有大量现成的可以参考，基本上只要理解了jdk动态代理、cglib字节码动态生成代理就足够了，而且必须知道这个代理类是spring托管的（如果是自己创建的代理类，是无法被拦截的，此时只能使用
2022-05-26 11:28:01
1888
转载 Java：正则表达式-命名捕获
第一段代码：String replacement = "${segment}";String regexp = "/red(?<segment>.*)"; String path = "/red/blue/k.do";String newPath = path.replaceAll(regexp, replacement); System.out.println(newPath);其执行结果：/blue/k.do这段代码看起来不太好理解，实际上String.
2022-05-18 00:31:12
637
转载 MyBatis-Plus学习路线
官方网址：简介 | MyBatis-PlusMyBatis-Plus(opens new window)（简称 MP）是一个MyBatis(opens new window)的增强工具，在 MyBatis 的基础上只做增强不做改变，为简化开发、提高效率而生。愿景我们的愿景是成为 MyBatis 最好的搭档，就像魂斗罗中的 1P、2P，基友搭配，效率翻倍。#特性无侵入：只做增强不做改变，引入它不会对现有工程产生影响，如丝般顺滑 损耗小：启动即会自动注入基本 CURD，性...
2022-05-12 00:30:24
185
转载 google kaptcha 验证码组件使用简介
kaptcha 是一个非常实用的验证码生成工具。有了它，你可以生成各种样式的验证码，因为它是可配置的。kaptcha工作的原理是调用 com.google.code.kaptcha.servlet.KaptchaServlet，生成一个图片。同时将生成的验证码字符串放到 HttpSession中。使用kaptcha可以方便的配置：验证码的字体 验证码字体的大小 验证码字体的字体颜色 验证码内容的范围(数字，字母，中文汉字！) 验证码图片的大小，边框，边框粗细，边框颜色 验证码的干扰线(可以
2022-05-11 23:40:21
3316
转载 如何去掉Intellij IDEA过多的警告 设置警告级别
Intellij IDEA的代码提示系统很强大，根据严格的代码规范，包括简洁程度，运行效率，潜在bug提前发现等等给你做出了除编译器之外的大量额外提示。但这些提示有时会给我们带来困扰，比如弄的界面很乱，各种警告的代码高亮掺杂在一起使人看不清。按照以下的办法调整警告级别和精确设置警告信息，可以打造一个清爽而又能保证代码质量的界面。调整警告级别 1 在界面右下角有个小人头像，不...
2022-05-11 16:39:25
18324
5
需求申请和项目评审确认表
2019-03-21
版本发布计划模板001
2019-02-17
详细设计模板
2018-10-31
SQLyog Ultimate 12.5.0附带注册码
2018-10-18
集合类型IntSet以及运算
2017-11-28
HugeInt类以及运算
2017-11-28
jbpm-starters-kit-3.1.2.part1
2012-12-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人