- 博客(5)
- 收藏
- 关注
RSS订阅原创 Spark 键值对操作
Spark 键值对操作2019年11月22日简介键值对RDD通常用来进行聚合计算键值对RDD在各节点上分布情况的高级特性：分区使用可控的分区方式把常被一起访问的数据放到同一个节点上，可以大大减少应用的同学开销，带来明显的性能提升。为分布式数据集选取正确的分区方式。pair RDD提供 reduceByKey()方法，可以分别规约每个键对应的数据。Join()方法，可以把两个RDD中...
2019-11-23 23:38:53
986
原创 Spark RDD总结
Spark RDD 总结2019年11月21日16:58RDD两种操作RDD 支持两种类型的操作：转化操作（transformation）和行动操作（action)转化操作会由一个RDD生产一个新的RDD。 如fliter，map行动操作会对RDD计算出一个结果。如first，count两种操作区别在于Spark计算RDD的方式不同。Spark惰性计算，只有第一次在一个行动操作中用到...
2019-11-23 23:17:26
514
原创 碰到的问题记录，并解决---软件类 ---持续更新
Q：Office for Mac 反复请求密钥链访问 提示登录过期重新认证A：https://support.office.com/zh-cn/article/office-for-mac-%E5%8F%8D%E5%A4%8D%E8%AF%B7%E6%B1%82%E5%AF%86%E9%92%A5%E9%93%BE%E8%AE%BF%E9%97%AE-ced5a09c-3099-47cb-91...
2019-11-23 21:56:06
385
原创 设计模式之 装饰者模式（Decorator Pattern）
装饰者模式（Decorator Pattern）关于装饰者模式，举个简单的例子来说明它的实现方式。需求大家在购买咖啡的时候，往往会依据自己的口味要求店员在咖啡中添加各种调料，例如：豆浆（Soy）、摩卡（Mocha，也就是巧克力风味）、奶泡（Whip）等。店员会根据所加入的调料而收取不同的费用。那么，使用装面向对象编程，如何让这种需求变得可拓展呢？问题难点在于：由于各种调料和各种咖啡的搭配不...
2019-11-13 22:32:04
110
原创 设计模式之 策略模式（Strategy Pattern）
策略模式（Strategy Pattern）策略模式定义了算法族，分别封装起来，让它们之间可以相互替换，此模式让算法的变化独立与使用算法的客户。从一个简单的应用说起。背景假如我们要设计一款鸭子模拟器。有绿头鸭，红头鸭，玩具鸭，橡皮鸭等。鸭子的行为有呱呱叫，游泳，飞翔等。根据简单的面向对象设计思路。我们先拿出第一版设计图。第一版第一版，我们抽象了一个鸭子超类。其他所有类型鸭子从超类...
2019-11-08 00:45:06
207
虚拟机中的spark client端访问rancher集群中的spark服务网络问题说明
2023-09-21
高并发场景业务方法流程梳理 流程图
2023-09-21
ALPS 高级车辆排产系统ER图示例
2023-09-21
Spring Bean Factory, Bean definition 结构图；processOn
2023-09-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人