![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
你的航哥哥
入坑大数据的程序新猿
展开
-
关于spark程序编写过程中缓存的利用
记录一下这次优化内容对于高手来说,缓存的思想已经深入人心。但是很多初学者还是没有想到使用空间换取时间的思想。过程由于我们的spark程序要频繁的访问Hbase。几乎是一条数据就要读取一下,导致我们的region压力非常大。进而想到。使用scan将数据一次性读取到内存中(brodecast),随后对内存进行访问。速度提高10倍之多。代码如下 val conn = HbaseDao.getConnection() //创建两个Map用于缓存从Hbase中获取的数据 val ne原创 2020-12-11 10:54:14 · 255 阅读 · 0 评论 -
spark源码之作业发布流程
原创 2020-10-11 20:42:19 · 103 阅读 · 0 评论