**其次**：RocksDB状态是按key分片存储在各个节点的磁盘上的，处理数据的时候，Flink 框架负责保证数据项与其对应键的状态之间的一致性匹配。开发者不需要担心数据项会被错误地发送到处理不了该键状态的实例。但是当我们（non-key）属性进行数据关联，比如日期，而不是原始键（如 ID），这时就不能直接依赖 Flink 的 keyBy 分区机制来直接访问状态了，因为 keyBy 机制确保的是相同键的数据项会被路由到相同的并行实例。对于基于时间或其他非键属性进行关联的情况需要另辟蹊径，这也是局限性和问题。
**RocksDB的磁盘IO性能问题**：
虽然 RocksDB 会产生磁盘 I/O，但它通过各种方式优化了 I/O 性能：
批量写入：通过批量处理写入操作来减少 I/O 次数。
增量检查点（Incremental Checkpoints）：Flink 的 RocksDBStateBackend 可以只对改变的部分进行检查点保存，减少数据的写入量。
合并读取和压缩策略：通过智能的读取和压缩策略减少磁盘访问次数和优化存储空间使用。
**集群影响**：因为涉及磁盘IO，SSD是必要的，而且会有缓存，合并和压缩的时候也会对cpu有一定依赖。
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
