- 博客(2)
- 收藏
- 关注
转载 大数据面试题
卡夫卡的消息包括哪些信息一个卡夫卡的消息由一个固定长度的报头和一个变长的消息体体组成标题部分由一个字节的魔法(文件格式)和四个字节的CRC32(用于判断身体消息体是否正常)构成。当魔术的值为1的时候,会在魔术和CRC32之间多一个字节的数据:属性(保存一些相关属性,比如是否压缩,压缩格式等等);如果魔术的值为0时,那么不存在属性属性文教释义体育的英文由ñ个字节构成的一个消息体,包含了具体的键...
2019-03-07 14:43:14 3455
原创 spark性能优化
《Spark性能优化:开发调优篇》《Spark性能优化:资源调优篇》《Spark性能优化:数据倾斜调优》《Spark性能优化:shuffle调优》文章目录1 shuffle调优1.1 调优概述1.2 ShuffleManager发展概述1.3 HashShuffleManager运行原理1.3.1 未经优化的HashShuffleManager1.3.2 优化后的HashShu...
2019-02-27 16:55:22 121
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人