![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
Spark
摸鱼同学
日拱一卒,绝知此事要躬行
展开
-
Spark - Transformation算子Zip使用
Spark - Transformation算子Zip使用zip说明注意事项代码示例 zip说明 zip 自身的RDD的值的类型为T类型,另一个RDD的值的类型为U类型。zip操作将这两个值连接在一起。构成一个新的元组值 def zip[U: ClassTag](other: RDD[U]): RDD[(T, U)] = withScope {处理逻辑} 注意事项 需要两个rdd有相同的分区数 和 数据条数相同 Exception1: Can’t zip RDDs with unequal numbe原创 2021-12-19 15:14:18 · 1441 阅读 · 0 评论 -
Spark - 源码解析-LocalCluster模式启动分析
Spark常用的几种模式 Local StandAlone Yarn - Mesos Local模式又分为几种启动方式 local - local单核 LOCAL_N_REGEX(threads) - local[N]/local[*] 设置N个线程或启动与cpu core个数相同的线程 LOCAL_N_FAILURES_REGEX(threads, maxFailures) - 设置N线程数与最大失败次数 LOCAL_CLUSTER_REGE..原创 2021-12-11 12:41:53 · 1574 阅读 · 1 评论