- 博客(2)
- 收藏
- 关注
RSS订阅转载 Cache-Persist-Checkpoint 的区别
cache()与persist()的区别 会被重复使用的但是不能太大的RDD需要cache, cache()调用了persist(),区别在于cache只有一个默认的缓存级别MEMORY_ONLY,而persist可以根据情况设置其它的缓存级别,StorageLevel类中有12种缓存级别. cache 与 checkpoint 的区别 运算时间很长或运算量太大才能得到的 RDD,computi...
2019-05-23 15:34:55
136
转载 HBase之rowkey设计原则和方法
rowkey设计原则和方法 rowkey设计首先应当遵循三大原则： rowkey长度原则 rowkey是一个二进制码流，可以为任意字符串，最大长度为64kb，实际应用中一般为10-100bytes，它以byte[]形式保存，一般设定成定长。 一般越短越好，不要超过16个字节，注意原因如下： 1、目前操作系统都是64位系统，内存8字节对齐，控制在16字节，8字节的整数倍利用了操作系统的最佳特性。 2...
2019-04-29 22:12:31
201
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人