![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 71
ysy2025
这个作者很懒,什么都没留下…
展开
-
IDEA jar包 import失败 maven刷新也解决不了
IDEA开发,依赖报错,可以尝试手动导入jar包原创 2023-03-10 17:16:53 · 1835 阅读 · 0 评论 -
Spark源码分析:第二章(4)
2.9 启动测量系统 MetricsSystem使用 codahale 提供的第三方测量仓库 MetricsMetricsSystem 有三个概念: instance 谁在用测量数据, source 从哪收集数据, sink 往哪里输出数据;按照instance分类有 master, worker, application, driver, executor按照sink分类有 consolesink csvsink jmxsink metricssevlet graphitesink 等Metri原创 2021-07-04 16:54:42 · 233 阅读 · 1 评论 -
Spark源码分析:第二章(3)
这里写自定义目录标题继续前面的源码分析2.5 Hadoop 相关配置和Executor环境变量2.5.1 Hadoop相关配置信息2.5.2 Executor环境变量2.6 创建任务调度器 TaskScheduler2.6.1 创建taskschedulerimpl2.7 创建和启动DAGScheduler2.8 TaskScheduler 启动2.8.1 创建LocalActor Actor->EndPoint2.8.2 ExecutorSource 的创建和注册2.8.3 ExecutorAct原创 2021-07-04 10:24:36 · 280 阅读 · 0 评论 -
Spark源码分析:第二章(2)
2.3 创建metadataCleaner这部分,原来的 metadataCleaner 似乎被取消了,换成了 spark.ContextCleaner参考如下链接:个人觉得写得很好https://www.cnblogs.com/windliu/p/10983334.html2.4 SparkUISparkUI 提供监控,浏览器访问事件监听体制if 用函数调用,那么函数调用越来越多,线程限制,监控数据更新不及时甚至无法监视函数监视是同步调用,线程容易阻塞;分布式环境种可能因为网络问题导致线程原创 2021-06-04 19:45:05 · 249 阅读 · 1 评论 -
Spark源码分析:第二章(1)
2 SparkContext初始化参考:https://www.yuque.com/liangjiangjiang/tm6hpg/ogaa4y2.1 SparkContext概述sparkcontext(以下简称sc)主要由sparkconf(以下简称scf)负责配置参数;如果sc是发动机,scf就是操作面板scf的构造很简单,通过concurrenthashmap来维护属性 class SparkConf(loadDefaults: Boolean) extends Cloneable wit原创 2021-06-03 19:03:01 · 276 阅读 · 0 评论 -
Spark源码分析:第一章
前言之前,一直在考虑,如何延续职业生涯.虽然刚入职,但是危机意识告诉我,不能当咸鱼.拒绝996的同时,也要自我学习,才不至于早早被扫地出门.哪怕考公务员也要学习[手动吃瓜].受到我们部门leader的启发,我决定深入探讨一个工具,钻研源码,做到"精通"一个工具.由Spark始吧.本系列,主要参考了耿嘉安的深入理解Spark核心思想与源码分析.可以理解成我照猫画虎,更新了自己的一版本吧.就从开头开始吧.1 Spark设计理念和基本架构1.1 初始Spark Spark vs Hadoop原创 2021-06-03 17:52:48 · 156 阅读 · 1 评论