- 博客(2)
- 资源 (10)
- 收藏
- 关注
翻译 [Spark优化]--spark-1.6.0调优指南
Spark优化数据序列化内存调整内存管理概述确定内存消耗调整数据结构序列化RDD存储垃圾回收调整其他考虑事项并行度水平内存使用减少任务广播大变量数据本地化总结由于大多数Spark计算的内存性质,Spark程序可能会受到群集中任何资源(CPU,网络带宽或内存)的瓶颈。大多数情况下,如果数据在内存中,瓶颈就是网络带宽,但有时候,您还需要进行一些调整,例如 以序列化形式存储RDD,以减少内存使用量。本指...
2018-02-25 10:49:24 800
原创 [Java BigInteger]--介绍和使用说明
BigInteger介绍 1、不可变的任意精度的整数。所有操作中,都以二进制补码形式表示BigInteger(如Java的基本整数类型)。BigInteger为Java的所有基本整数运算符和java.lang.Math提供的所有相关方法提供了操作方法。另外,BigInteger还提供以下运算:取模算术、GCD计算、质数测试、素数生成、位操作以及其他一些操作。 2、算术运算的语义完全模仿Ja...
2018-02-08 15:43:46 2374
Canal开源产品介绍
2018-08-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人