- 博客(4)
- 收藏
- 关注
原创 记Spark JDBC写Tidb报错
由于分布式事务要做两阶段提交,并且底层还需要做Raft复制,如果一个事务非常大,会使得提交过程非常慢,并且会卡住下面的Raft复制流程。注意:无论是大小限制还是行数限制,还要考虑TiDBit做编码以及事务额外Key的开销,建议每个事务的行数不超过200行,且单行数据小于100k,否则可能性能不佳。KV entry的总大小不超过100MB(SQL层面:一次提交的全部数据小于100MB)KV entry的总条数不超过30w(SQL层面:总的行数*(1+索引个数)
2023-03-16 17:46:07
640
原创 Spark Shuffle过程
Spark Shuffle过程https://www.xuebuyuan.com/3228633.htmlhttps://zhuanlan.zhihu.com/p/55954840https://www.cnblogs.com/itboys/p/9226479.html
2020-10-28 16:01:36
143
原创 TCP为什么需要第三次握手
众所周知,TCP是通过三次握手建立连接的,那为什么需要三次握手而不是两次呢?我们可以思考一下两次的情况: 客户端向服务器发送连接请求,服务器响应,然后连接成功,开始接收数据。 简要流程是这样,假设客户端第一次向服务器发送连接请求,选择的较远的连接路径,一旦超过了时间阈值,客户端没有接收到服务器端的响应信号,会认为发送失败,客户端会重新发送请求,假设第二次经过的是比较近的路径,服务器端顺利接到请求并成功响应,那么此次传输就顺利开始了。而这时,第一次发送的经过较远路径的请求也到达服务器,服务器会认为是
2020-10-21 16:07:06
169
原创 Flume中Exec Source和Taildir Source对比
Exec Source:可以将命令产生的输出作为源,适用于监控一个实时追加的文件,但不能保证数据不丢失;Taildir Source:断点续传、多目录。能够保证数据不丢失,还能够进行实时监控。Flume1.6以前需要自己自定义Source记录每次读取文件位置,实现断点续传。...
2020-07-23 10:43:11
655
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人