- 博客(4)
- 收藏
- 关注
RSS订阅原创 记Spark JDBC写Tidb报错
由于分布式事务要做两阶段提交，并且底层还需要做Raft复制，如果一个事务非常大，会使得提交过程非常慢，并且会卡住下面的Raft复制流程。注意:无论是大小限制还是行数限制，还要考虑TiDBit做编码以及事务额外Key的开销，建议每个事务的行数不超过200行，且单行数据小于100k，否则可能性能不佳。KV entry的总大小不超过100MB(SQL层面：一次提交的全部数据小于100MB)KV entry的总条数不超过30w(SQL层面：总的行数*(1+索引个数)
2023-03-16 17:46:07
522
原创 Spark Shuffle过程
Spark Shuffle过程https://www.xuebuyuan.com/3228633.htmlhttps://zhuanlan.zhihu.com/p/55954840https://www.cnblogs.com/itboys/p/9226479.html
2020-10-28 16:01:36
132
原创 TCP为什么需要第三次握手
众所周知，TCP是通过三次握手建立连接的，那为什么需要三次握手而不是两次呢？我们可以思考一下两次的情况： 客户端向服务器发送连接请求，服务器响应，然后连接成功，开始接收数据。 简要流程是这样，假设客户端第一次向服务器发送连接请求，选择的较远的连接路径，一旦超过了时间阈值，客户端没有接收到服务器端的响应信号，会认为发送失败，客户端会重新发送请求，假设第二次经过的是比较近的路径，服务器端顺利接到请求并成功响应，那么此次传输就顺利开始了。而这时，第一次发送的经过较远路径的请求也到达服务器，服务器会认为是
2020-10-21 16:07:06
145
原创 Flume中Exec Source和Taildir Source对比
Exec Source：可以将命令产生的输出作为源，适用于监控一个实时追加的文件，但不能保证数据不丢失；Taildir Source：断点续传、多目录。能够保证数据不丢失，还能够进行实时监控。Flume1.6以前需要自己自定义Source记录每次读取文件位置，实现断点续传。...
2020-07-23 10:43:11
642
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人