MySQL文本类型Text过小引起的错误

问题描述

业务流程

前端执行Spark-SQL后，会根据后台Spark- SQL的执行状况，计算出SQL的执行度，
并且将执行进度【百分比】存储到redis,对应的是前端SQL唯一标识，
当Spark-SQL执行完毕时，会讲执行进度置为100%，并存储到mysql中，
正常执行完毕，会将返回存储对应的文本字段；
执行失败后，也会将失败信息存入同样文本字段。
然后删除redis对应的前端SQL唯一标识。

问题

• 但是某次Spark-SQL执行完毕后，一直进度为0，并无法继续执行

定位

• 查看后台日志，并无插入mysql数据表的相关报错，但又数据库相关报错，redis相关报错

022-02-16 17:34:06,901 WARN  [ForkJoinPool-1-worker-5] c.wacai.mario.awm.utils.SJSUtil:121 - [] [] [bds=] getResult for b1ab8d44-f7c4-45ea-8fba-b05adb84684d Code 0
2022-02-16 17:34:07,936 WARN  [ForkJoinPool-1-worker-5] c.wacai.mario.awm.utils.SJSUtil:121 - [] [] [bds=] getResult for b1ab8d44-f7c4-45ea-8fba-b05adb84684d Code -1
2022-02-16 17:34:07,936 WARN  [pool-4-thread-1] c.w.m.a.s.i.SparkInterpreter:75 - [] [] [bds=] Run Sjs Job b1ab8d44-f7c4-45ea-8fba-b05adb84684d Failed ! ... Left errMsg
2022-02-16 17:34:07,937 WARN  [pool-4-thread-1] c.w.m.a.s.t.SqlTaskManager:633 - [] [] [bds=] query_613941_7 Query Result is Error..
2022-02-16 17:34:07,986 INFO  [pool-4-thread-1] o.s.b.f.x.XmlBeanDefinitionReader:317 - [] [] [bds=] Loading XML bean definitions from class path resource [org/springframework/jdbc/support/sql-error-co
des.xml]
2022-02-16 17:34:08,002 WARN  [ForkJoinPool-1-worker-5] c.w.m.a.s.t.SqlTaskManager:419 - [] [] [bds=] UpdateTaskInfo：query_613941_7 Progress：0
2022-02-16 17:34:08,024 INFO  [pool-4-thread-1] o.s.j.s.SQLErrorCodesFactory:127 - [] [] [bds=] SQLErrorCodes loaded: [DB2, Derby, H2, HSQL, Informix, MS-SQL, MySQL, Oracle, PostgreSQL, Sybase, Hana]
2022-02-16 17:34:10,003 WARN  [ForkJoinPool-1-worker-5] c.w.m.a.s.t.SqlTaskManager:419 - [] [] [bds=] UpdateTaskInfo：query_613941_7 Progress：0
2022-02-16 17:34:12,002 WARN  [ForkJoinPool-1-worker-5] c.w.m.a.s.t.SqlTaskManager:419 - [] [] [bds=] UpdateTaskInfo：query_613941_7 Progress：0

• 问题回溯，进一步查看获取spark运行日志的服务发现，已经发现SQL解析报错，发现对应的detail信息已经无法存入，detail字段类型为MySQL Text
  

• 定位到spark的服务日志，发现解析SQL已经发生错误
  

解决方案

• 对返回的错误信息字符串进行截取，目前采取这种方法，截取10000个字符，

TinyText 存储255个字节(2^81)
Text  存储 65535 (2^16-1)个字节，即大约64KB
MediumText 存储 16777215 (2^24-1)个字节，即大约16MB
longTest 存储 4294967295个字元 (2^32-1)个字节，即大约4G

• 使用更大文本类型，治标不治本，可能后面还会有日志报错信息

参考文章

• https://www.cnblogs.com/pureEve/p/6015000.html