- 博客(2)
- 收藏
- 关注
RSS订阅原创 Spark中RDD的算子
Transformation算子 该类算子的作用：oldRDD —> newRDD 程序在遇到Transformation的算子时，是不会真正执行计算的，是延迟加载的。 算子 描述 map 每次遍历RDD每一个元素执行逻辑并返回结果 filter 过滤器 flatMap 每次遍历并将多个stream压成一个stream mapPartitions 每次遍历一个分区 mapPartitionsWithIndex 每次遍历一个分区，并带有当前分区编号 sample(w
2020-05-09 18:08:27
143
原创 Redis缓存的那些事
缓存雪崩 redis因为大量key的集中过期，导致获取不到对应值。而新开大量的线程去后端进行数据库查询，导致后端压力增大，甚至会导致应用宕机。 对线程进行数据库查询操作加锁 存在的问题：能够减轻数据库的压力，并没有提高系统的吞吐量。如果一个线程过久的持有锁，并不能正确释放，还会造成死锁。 分布式情况下：锁的实现需要采用zookeeper或者redis 给每一条数据添加缓存标志...
2019-04-02 16:24:26
112
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人