- 博客(2)
- 收藏
- 关注
转载 Cache-Persist-Checkpoint 的区别
cache()与persist()的区别会被重复使用的但是不能太大的RDD需要cache,cache()调用了persist(),区别在于cache只有一个默认的缓存级别MEMORY_ONLY,而persist可以根据情况设置其它的缓存级别,StorageLevel类中有12种缓存级别.cache 与 checkpoint 的区别运算时间很长或运算量太大才能得到的 RDD,computi...
2019-05-23 15:34:55 162
转载 HBase之rowkey设计原则和方法
rowkey设计原则和方法rowkey设计首先应当遵循三大原则:rowkey长度原则rowkey是一个二进制码流,可以为任意字符串,最大长度为64kb,实际应用中一般为10-100bytes,它以byte[]形式保存,一般设定成定长。一般越短越好,不要超过16个字节,注意原因如下:1、目前操作系统都是64位系统,内存8字节对齐,控制在16字节,8字节的整数倍利用了操作系统的最佳特性。2...
2019-04-29 22:12:31 217
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人