大数据
云舒向晚
宠辱不惊,闲看庭前花开花落;去留无意,漫随天外云卷云舒!
展开
-
spark 缓存及内存管理
spark内存管理 1 persist 和 unpersist cache() 调用 persist(),且默认存储级别是 MEMORY_ONLY。 persist() 用来设置RDD的存储级别 存储级别 意义 MEMORY_ONLY 使用未序列化的Java对象格式,将数据保存在内存中。如果内存不够存放所有的数据,则数据可能就不会进行持久化。那么下次对这个RDD执行算子操作时,那些没有被持久化的数据,需要从源头处重新计算一遍。这是默认的持久化策略,使用cache()方法时,实际就是使用的这种持久化策略原创 2020-12-28 14:54:00 · 1085 阅读 · 0 评论 -
SparkSql
常用sql 一:日期类型 1:日期加减 // day 减 1 date_add(a.first_date,-1)原创 2021-09-18 14:27:46 · 70 阅读 · 0 评论