关闭

大数据IMF传奇行动绝密课程第47课:Spark性能优化第三季

标签: spark
152人阅读 评论(0) 收藏 举报
分类:

Spark性能优化第三季

一、Spark程序数据结构的优化
1、数据结构优化
2、内存诊断
3、Persist和Checkpoint
1、Java的对象:对象头是16个字节(例如指向对象的指针等元数据信息),如果对象中只有一个int的property,则此时会占据20个字节,也就是说对象的元数据占用了大部分的空间,所以在封装数据的时候尽量不要使用对象。例如使用JSON格式来封装数据。
2、Java中基本数据类型会自动封箱,例如int会自动变成Integer,这会额外增加对象头的空间占用。
3、Java的String在实际占用内存方面要额外使用40个字节(String的内部使用char[]来保存字符序列),另外需要注意的是String中的字符是2个字节(UTF-16),如果内部有5个字符的话,实际上会占用50个字节;
4、Java中的集合List、HashMap等等其内部一般使用链表来实现,具体的每个数据使用Entry等,这些也非常消耗内存;
5、优先使用原生数组,尽可能不要直接使用ArrayList、HashMap、LinkedList等数据结构,例如List list = new ArrayList()需要考虑替换为int[] array = new int[];
6、优先使用String(推荐使用JSON),而不是采用HashMap、List等来封装数据,例如Map

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:21862次
    • 积分:1355
    • 等级:
    • 排名:千里之外
    • 原创:125篇
    • 转载:0篇
    • 译文:0篇
    • 评论:1条
    文章分类
    最新评论