![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
踩坑记录
文章平均质量分 51
记录日常工作学习中遇到的坑
刘乘九
苟有恒,何必三更眠五更起
最无益,莫过一日曝十日寒
展开
-
Spring Boot 下mybatis 转义报错,你竟然还不知道解决,快进来看看一次性解决。
现象就是同事和自己在开发业务需求的时候,有的时候在使用mybatis写sql的时候会莫名其妙的提示SQL错误。由于遇到的次数还真不少,所以在此进行一个记录,以免自己下次再遇到。原因就是mybatis的某些字符在表达的时候需要进行转义(最常见的就是> 大于 < 小于了),因为mybatis的报错基本都比较笼统有的时候在自己去编写sql的时候,往往会怀疑自己的SQL是不是写错了。以下是mybatis的转义字符及转义后的字符串。...原创 2021-10-24 23:27:33 · 531 阅读 · 0 评论 -
spring连接mongo失败记录 及 orm实践
一、mongo springboot 连接不上的问题1.检查spring-boot-starter-data-mongodb和mongo-java-driver的版本。默认的mongo-java-driver可能因为驱动版本过低造成影响。参考: <dependency> <groupId>org.mongodb</groupId> <artifactId>mongo-java-drive...原创 2021-08-22 22:57:25 · 1036 阅读 · 0 评论 -
SpringBoot启动报错(一篇教你如何处理mapper绑定问题) BindingException: Invalid bound statement (not found)
背景接手了一个没有配置mybits-plus的spring boot的项目。需要新建一张数据表,为了节约自己手动配置dao、domain等ORM的时间,直接从其他工程含有mybits-plus对需要新建的数据表生成ORM的相关文件,转移到接手的项目中。运行项目失败,提示信息如下:2021-07-19 18:20:00.577 ERROR 27829 --- [io-11083-exec-6] o.a.c.c.C.[.[.[/].[dispatcherServlet] : Servlet.se原创 2021-07-21 00:12:47 · 1236 阅读 · 0 评论 -
mysql数据导入到clickhouse数据长度超长,clickhouse的Int长度
概要mysql的bigint20长度是十进制的,clickhouse的Int32的长度是二进制的。背景因为当前公司的数据量从百万每天陡增到十几亿,所以之前老的数据处理程序承载不下,重新搭建了一套新的大数据架构。在给公司从0到1搭建数据集群的过程中,有一个需求需要定时将一个MySQL的表更新导入到clickhouse中。结果发现唯一ID在导入过程中变成了负数。对于这个字段的定义中:mysql 是bigint20clickhouse 是Int32看上去clickhouse这个字段占用的空.原创 2021-05-15 18:02:55 · 1263 阅读 · 2 评论 -
JAVA使用fastjson解析数据时异常
错误描述Exception in thread "main" com.alibaba.fastjson.JSONException: syntax error, expect {, actual string, pos 40, line 1, column 41"{\"hh\":\"159\",\"test\":\"aa\",59:16}"背景公司的后台服务是基于Springboot+...原创 2021-04-20 23:15:08 · 1254 阅读 · 0 评论 -
clickhouse安装记录 高可用双实例 超详细的clickhouse安装看这一篇就够了~
1.安装依赖项yum -y install libicu perl-JSON-XS2.下载clickhou的RPM包各版本系统与包的地址:https://packagecloud.io/Altinity/clickhouse以clickhouse19.16.14.65版本为例:使用wget下载RPM包:wget --content-disposition https://packagecloud.io/Altinity/clickhouse/packages/el/7/cli..原创 2021-04-11 23:37:34 · 1445 阅读 · 0 评论 -
MySQL 添加where 1= 1 是否会引起索引失效
背景 在检查数据库的执行效率的时候,发现了一条查询极慢的查询sql。sql的例子如下:EXPLAIN SELECT * FROM user_point_detail_info WHERE 1=1 AND deleted = FALSE AND app_id = 2010001 AND point > 10 AND add_time BETWEEN "2021-03-12 17:00:00" AND "2021-03-12 17:51:00" ORDER BY user_id DE...原创 2021-03-15 10:10:41 · 3925 阅读 · 0 评论 -
flink如何设置以每天零点到第二天零点为区间的window进行计算
环境flink1.11.2JAVAstream APItimewindow背景公司之前的指标是以分钟为单位的滚动窗口进行检查,然后在查询系统里查询的时候,对该天所有的分钟数据进行聚合统计。当前需要在flink中添加以天为单位的Job进行额外指标检查。指标出来之后和发现数据口径不一致,flink中默认是timeWindow按天进行滚动统计的数据是每天八点到第二天八点的数据。导致统计指标的含义对不上,没有参考意义和进行不同数据间的join。解决方案使用window配置..原创 2020-11-02 18:05:01 · 2498 阅读 · 0 评论 -
flink 1.11.2 的安装记录
背景计划将之前部署好的flink1.10升级到1.11.2。主要流程及踩坑1.从官方下载flink1.11.2的压缩包,选择与业务程序中导入的maven依赖scala版本一致即可(本人选用的是2.11)。flink压缩包官方下载链接2.修改对应的配置文件(yarn模式下只需配置flink-conf.yaml, 如果是使用flink自己的资源调度则简单配置masters、workers文件即可)。flink 1.10与1.11.2的配置项基本没有太多差别,配置参考之前的文档...原创 2020-10-20 18:29:59 · 1104 阅读 · 1 评论 -
pyflink sql 方式创建数据源表报错 SQL parse failed. Encountered “time“ at line 2, column 5. Was expecting one
背景:这周在尝试将之前以JAVA开发的flink stream模式脚本,迁移到开发打包更方便的pyflink 的sql 模式脚本。但是在进行逻辑迁移的时候,pyflink报错,具体报错信息如下:py4j.protocol.Py4JJavaError: An error occurred while calling o6.executeSql.: org.apache.flink.table.api.SqlParserException: SQL parse failed. Encountered "原创 2020-10-15 01:58:06 · 9830 阅读 · 1 评论 -
python pycharm 自建项目进行debug 失败。During handling of above exception, another exception occurred
背景今天自己新建了一个python工程打算参加一个机器学习比赛,然后在写好一个功能包想使用pycharm 上的debug功能测试一下编写模块的正确性。结果发现pycharm 点击debug居然报错了。之前从未发生这个问题,检查了脚本的主入口也没有任何问题(即使替换成hello world 也一样失败的)现象在pycharm 的debug的控制台发现报错信息(其中关键报错信息如下所示):During handling of above exception, another except..原创 2020-10-06 01:43:31 · 771 阅读 · 0 评论 -
Flink1.9“Error: A JNI error has occurred”
背景最近公司要搭建大数据系统,架构师推荐使用flink来搭建这套系统。所以我这边这天在自己的虚拟机环境(Ubuntu16.4)下调研玩一下Flink。从ververica上学习了一下flink的基础知识,因为之前是做python数据处理分析的工作,最近才学习Java,还没有专门学习maven的相关知识。所以从FLINK官方教程拉了一份JAVA的项目模板,并从ververica里找了一份大佬...原创 2020-02-17 10:20:01 · 11173 阅读 · 0 评论 -
Mybatis插件自动生成的ORM实体类无法载入MySQL中的Text字符类型解决方案
背景公司的后台服务是基于Springboot+Mybatis+Mysql进行的,在处理一个新需求的时候,需要新加一张含有Text长文本类型的字段的数据表。在使用mevan管理的Mybatis的插件来自动生成对应的实体类及通用单表操作函数。问题现象在对数据表进行增删改查测试的时候发现,Text长文本类型字段在进行写操作的时候可以正常执行,但是进行读取时数据一直读不到。问题原因考虑...原创 2020-03-05 01:46:20 · 3765 阅读 · 0 评论 -
消费kafka数据 乱序问题
问题描述数据源是从一个多台服务器提供的HA kafka集群中读取,在工作的时候部署了一个简单计算逻辑的flink job到flink服务器上,从kafka执行自带sh命令和查看原始数据文件发现数据都没有问题。但是最终输出的统计结果与真实数据对比不一致。从flink直接读取的数据乱序(例如: 原始文件及命令创建消费者读取kafka数据 为 1,2,3,4。 在flink中注册resource直接打印出来是1,4,2,3)问题原因最终经过排查由kafka存储机制导致。因为实验数据源topi.原创 2020-09-13 02:41:20 · 2899 阅读 · 0 评论