记Spark JDBC写Tidb报错

java.sql.SQLException: The isolation level ‘READ-UNCOMMITTED’ is not supported. Set tidb_skip_isolation_level_check=1 to skip this error

原因

Spark JDBC 写入时默认 isolation level 为 READ_UNCOMMITTED，而TiDB目前仅支持 REPEATABLE-READ，两端不匹配。

解决方案

设置 isolationLevel 为 NONE即可。

Caused by: java.sql.SQLException: Transaction is too large, size: 104857633

原因

由于分布式事务要做两阶段提交，并且底层还需要做Raft复制，如果一个事务非常大，会使得提交过程非常慢，并且会卡住下面的Raft复制流程。为了避免系统出现被卡住的情况，对事务的大小做了限制：
单个事务包含的SQL语句不超过5000条(默认)
单条KV entry不超过6MB(SQL层面：单行数据不大于6MB)
KV entry的总条数不超过30w(SQL层面：总的行数*(1+索引个数)<30w)
KV entry的总大小不超过100MB(SQL层面：一次提交的全部数据小于100MB)
注意:无论是大小限制还是行数限制，还要考虑TiDBit做编码以及事务额外Key的开销，建议每个事务的行数不超过200行，且单行数据小于100k，否则可能性能不佳。

解决方案

set @@tidb_batch_insert =ON
set @@tidb_batch_delete = ON

或者采用分批写入的方式。

Exception in thread “main” com.pingcap.tikv.exception.TiBatchWriteException: SaveMode: Overwrite is not supported. TiSpark only support SaveMode.Append.
at com.pingcap.tispark.write.TiDBWriter$.write(TiDBWriter.scala:45)

tispark写入仅支持append方式。。。