喜羊羊love红太狼-CSDN博客

在实现postgreql数据迁移到clickhouse中，想使用MaterializedPostgreSQL的功能实现，但是中途clickhouse突然挂了.原因是项目挂了后，我把var/log/clickhouse-server下的日志全部删除了，然后手动创建的如下文件。都是clickhouse,且在config.xml中有日志的具体配置路径。配置文件clickhouse.xml的。报错提示访问这个日志文件被拒绝了。我当时是这么赋予权属的。

2024-03-19 13:31:20 562

原创 spring中将监听器发布事件变成异步方式

两种异步的出发点不同，CompletableFuture是直接将事件发布的操作放到异步操作中，而@Async是将监听操作从而实现了异步。

2024-03-14 10:15:48 685

原创 eclipse中open Type 、 open type in Hierachy、open Resource的区别

open type的含义

2024-02-21 14:16:03 277 1

原创 oracle数据库索引失效情况总结

下面是工作流activiti中的两张表act_hi_procinst、act_hi_taskinst关系是一对多（一个流程包含多个流程环节），一个是历史流程表，一个是历史流程环节表。经验证如果列中创建了索引，但是查询时含有is null 和 is not null则执行计划没有走该列，故该列的以图表熟悉。索引生效，Oracle 数据库使用索引范围扫描方式。这种扫描方式通过索引键值的范围来定位需要的数据。(单表act_hi_procinst已经在delete_reason_列上创建了索引 )

2024-02-04 11:04:44 444

原创 oracle数据库执行计划查看和使用

注：PROC_INST_ID_另一个表ACT_HI_PROCINST中该字段的索引已经有，第一步测试只删了ACT_HI_BIZ_PROCINST表中该字段的索引。此时发现第一步执行的是ACT_HI_BIZ_PROCINST全表扫描，第二步执行的是ACT_HI_PROCINST全表扫描。故该步骤执行的是ACT_HI_BIZ_PROCINST表中在PROC_INST_ID_列上建的索引扫描计划。故这里执行了和ACT_HI_BIZ_PROCINST的left join的连接。

2024-02-02 14:48:54 745

原创 oracle数据库慢查询SQL

SQL语句文本不同：即使SQL语句的逻辑相同，但如果SQL语句的文本不同（比如空格、大小写等），Oracle也会将它们当作不同的SQL语句进行处理。绑定变量不同：如果SQL语句使用了绑定变量，即在SQL语句中使用了占位符，那么不同的绑定变量值会导致不同的SQL语句被加入到共享池中。不同的解析环境：在不同的解析环境下，相同的SQL语句可能会被多次解析并加载到共享池中，比如在不同的会话或者不同的数据库连接中。但是分页查询总数的sql语句执行五次，5.932s，3.78s，2.89s, 2.5s，1.9s。

2024-02-01 17:55:34 2128

原创项目服务间访问提示The request was rejected because the URL contained a potentially malicious String “//“

1.开发过程最好是按照规范开发，可以避免诸如此类低级问题。比如项目中前缀是那么controller统一这样的话拼接到一起就不会有双横线问题了2.当然如果允许路径中存在双横线则可以在security中添加配置@Bean//此处可添加别的规则,目前只设置允许双 //

2024-01-23 15:00:44 999

原创 mysql数据迁移报错Specified key was too long； max key length is 767 bytes

网上搜了Mysql InnoDB引擎表的索引，默认索引键前缀限制为767字节，当你建的索引长度为varchar类型时候，使用默认的varchar(255)，而你的编码又字符集又是utf8mb4，4*255 > 767，显然太大，所以报错。2.可以调整启用innodb_large_prefix，加大索引键长度限制。源库的innodb_large_prefix变量的开关是启用的，而目标库的开关是关闭的。mysql版本一样，相同的表结构为什么在源库中能创建，而在目标库中无法创建呢？源库和目标库的版本一样。

2024-01-18 10:06:02 525

原创 linux环境下安装postgresql

grant all privileges on database 库名 to root;这里将listen_addresses值由localhost改成*号。create user root with password '密码';create database 库名 owner root;如果不加使用navicat连接时会提示如下错误。

2024-01-13 13:48:05 496

原创迁移数据mysql到clickhouse

项目上需要将mysql表中数据迁移到clickhouse。

2024-01-06 14:52:59 1196

原创基于seatunnel实现mysql同步clickhouse验证

mysql同步clickhouse

2024-01-05 15:39:05 1305

原创 linux环境seatunnel安装运行

目前有个需求想实现mysql到clickhouse的同步，当前负责到这块中间踩了很多坑特此记录一下。

2024-01-05 14:19:50 564

原创 seatunnel部署遇到的一些问题及总结

clickhouse部署遇到的相关问题

2024-01-04 18:00:43 758

原创 windows环境下使用arthas不启动服务替换文件

windows环境，如果现场环境客户正在使用项目，如果要替换项目中的一个class文件，但是又不能重启服务改怎么处理，今天介绍使用arthas中的retransform命令动态替换及使用注意的事项。正在跑的函数，没有退出不能生效，比如下面新增加的System.out.println，只有run()函数里的会生效。加载外部的.class 文件，redefine jvm 已加载的类。使用mc命令将反编译的.java文件变成对应的.class文件。观察到内存中加载的已经是修改后的方法，因此验证成功！

2023-11-24 13:48:36 1204

原创通过shiro框架记录用户登录，登出及浏览器关闭日志

问题一：当浏览器每次刷新时websocket其实是会断开重新连接的，因此刷新一下就触发记录登出的日志，其实用户并没有真正退出，Logger.debug("session创建:id为 {}", session.getId());Logger.debug("session过期:id为 {}", session.getId());注”使用监听事件主要是想让代码做到分离，由于项目代码结构的原因，结构简单的可以直接在过滤器中记录日志也没有任何问题。//处理存储存数据库的代码逻辑。//处理存es的代码逻辑。

2023-10-31 19:16:09 480

原创 linux环境mysql安装配置踩坑

这里动态数据源我本地的，一个windows环境配置的mysql ，另外一个是在虚拟机上配置的mysql,没想到在虚拟机上配置mysql花费了我大量的时间特意记录一下。mv 【mysql-5.7.37-linux-glibc2.12-i686.tar.gz解压后文件】 /usr/local/mysql/，我本来想使用大数据clickhouse后面被否定了，那我就按照领导的来吧，后面会记录使用clickhouse方案)，正常情况下生成这样的图，圈起来的是初始密码，牢记注，可以复制出来备份！

2023-10-31 18:11:52 331

原创 jar命令的安装与使用

jar命令替换文件

2023-08-03 10:11:36 1837

原创 ES提示MANY_REQUESTS/12/disk usage exceeded flood-stage watermark, index has read-only-allow-delete blo

这可以保护索引的完整性，并防止数据丢失。索引正在被备份或复制：如果 Elasticsearch 索引正在被备份或复制，可能会导致 Elasticsearch 将索引锁定为只读模式，以防止对其进行写操作。索引合并中：如果 Elasticsearch 节点正在合并索引段，可能会导致 Elasticsearch 将索引锁定为只读模式，以防止对其进行写操作。索引刷新中：如果 Elasticsearch 节点正在刷新索引，可能会导致 Elasticsearch 将索引锁定为只读模式，以防止对其进行写操作。

2023-06-06 11:03:11 4313

原创 linux服务器使用curl命令处理常用es查询

1.上面便是es的常用的查询，其中查询单个字段直接匹配查询即可，对于filter查询通常要放到bool里面位置和must并列。2.curl命令 curl -x [请求方式] “url” -H [请求头参数设置] -u 【用户账号：密码】设置 -d 请求提设置。

2023-06-05 11:10:47 3143

原创 PG数据库提示: FATAL: sorry, too many clients already

当前数据库中的连接数1993，然而pg数据库设置的最大连接数是2000。我把我ip连接的pg的空闲进程的连接都杀掉，再次启动就好了。因此项目启动中很容易就超过了2000.查询pg某个数据库某个ip的连接数。pg数据库已经有太多的客户端连接。查询pg数据库设置的最大连接数。---pg各个数据库中的连接数。查询pg数据库当前的连接数。--pg数据库当前连接数总数。关闭数据库中的空闲连接。pg数据库的最大连接数。

2023-06-02 12:16:24 2590

原创 PG提示could not determine data type of parameter $4

线上：jdbc.url=jdbc:postgresql://db.gisquest.com:5866/bdcpz？本地：jdbc.url=jdbc:postgresql://db.gisquest.com:5866/bdcpz?第四个参数定位到：M.XZQ_ LIKE CONCAT(CONCAT('%','330800'),'%')这里报错。第一：要么要求现场环境版本保持和本地环境版本一致且数据库的连接方式也保持一致。第一：发现数据的版本存在差异，本地的版本明显高，而线上的版本低。

2023-06-01 16:28:57 1791

原创 PG数据库 column “has_submit_am“ is of type numeric but expression is of type bool

比如公司定义生成has_submit_am字段类型是smallint，然而现场迁移出的数据该字段变成了numeric，因此在插入的时候一直报错column "has_submit_am" is of type numeric but expression is of type boolean。第一：由于历史原因项目中很多地方插入数据库都是boolean类型，但是数据库中相应字段数字类型，在pg数据库是做了boolean_to_smallint函数的隐式转化，因此没遇到问题。pg数据库查询表中某个字段类型。

2023-06-01 14:37:19 1109

原创 Git提交代码报错 Push failed unable to access

第四步：生产了密钥之后，本地主机需要将私钥添加到 ssh-agent 服务中。第五步：将生成的公钥填入GithHub中ssh and GPG keys保存。第一步：首先需要设置绑定密钥的 Git 用户名和邮箱地址。第三步：后台启动ssh-agent。修改https方式到ssh方式。第二步：生成ssh秘钥。

2023-05-27 20:24:52 1165

原创 JMeter入门配置

.access_token在json提取器中定义了token,因此可${__setProperty(newtoken,${token},)}第一：如果你的请求token前没有前缀，则直接填写${__setProperty(newtoken,$.access_token,)}http请求右键-->添加---->后置处理器--->Beanshell后置处理器。http请求右键-->添加---->后置处理器--->json提取器。http请求右键-->添加---->监听器--->察看结果树。

2023-05-17 10:07:15 1042

原创 ActivitiOptimisticLockingException：was updated by another transaction concurrently

1.因此在使用 MySQL 数据库时，在一个事务中同时更新两个表时，需要确保两个表的更新操作都能成功。如果其中一个表的更新操作失败了，整个事务就会回滚，包括另一个表的更新操作也会回滚，并且会抛出乐观锁异常。前端传的id在act_biz_suspension表中是不存在的，然而在act_hi_biz_suspension是存在的，这样在更新第一张表的时候就会报错回滚，然而。或时间戳等机制来实现的，如果一个表的更新操作失败了，另一个表的版本号或时间戳就会不匹配，导致另一个表的更新操作也失败。

2023-05-16 15:28:59 905