性能优化-使用高性能的库fastutil

最新推荐文章于 2024-05-13 09:35:17 发布

哥伦布112

最新推荐文章于 2024-05-13 09:35:17 发布

阅读量7.1k

点赞数

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/u013939918/article/details/60882806

版权

本文介绍了fastutil库在性能优化中的作用，特别是在Spark中的应用。fastutil是Java集合框架的扩展，提供小内存占用和快速存取速度的集合类。在Spark中，通过使用fastutil可以减少内存占用，提高遍历、存取操作的速度。文中提到了在随机抽取session方法中使用fastutil的例子，并强调其效果并非一鸣惊人，而是类似于性能优化的调味品，与其他优化手段如Broadcast、Kryo结合使用，能进一步提升性能。

摘要由CSDN通过智能技术生成

性能优化：

使用高性能的库fastutil

fastutil介绍：

fastutil是扩展了Java标准集合框架（Map、List、Set；HashMap、ArrayList、HashSet）的类库，
提供了特殊类型的map、set、list和queue；

fastutil能够提供更小的内存占用，更快的存取速度；我们使用fastutil提供的集合类，
来替代自己平时使用的JDK的原生的Map、List、Set，好处在于，fastutil集合类，可以减小内存的占用，
并且在进行集合的遍历、根据索引（或者key）获取元素的值和设置元素的值的时候，提供更快的存取速度；

fastutil最新版本要求Java 7以及以上版本；

fastutil的每一种集合类型，都实现了对应的Java中的标准接口（比如fastutil的map，
实现了Java的Map接口），因此可以直接放入已有系统的任何代码中。

fastutil除了对象和原始类型为元素的集合，fastutil也提供引用类型的支持，但是对引用类型是使用
等于号（=）进行比较的，而不是equals()方法。

fastutil尽量提供了在任何场景下都是速度最快的集合类库。