- 博客(1)
- 收藏
- 关注
RSS订阅原创 spark2.0
从网站上搜寻了些关于spark2.0的新特性：1. DataFrame引入了schema和off-heapSchema（数据结构信息） : RDD每行的数据，结构都是一样的。这个结构就存储在schema中。Spark通过schema能够读懂数据。因此在通信和IO时就只需序列化和反序列化数据，而结构的部分就可以省略。Off-heap : 意味着JVM堆以外的内存，这些内存直接受系统管理，
2017-01-04 16:29:42
383
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人