- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark spark-submit提交Job流程 解读
Spark-spark-submit提交Job流程 解读spark-submitspark-classload-spark-env.shorg.apache.spark.launcher.MainSparkSubmitCommandBuilder构造方法buildCommandOptionParser本篇博文详细讲讲spark-submit提交Job流程。spark-submit spark...
2019-11-29 18:09:43
2332
原创 Spark config配置项 一览
Spark config配置项 一览env配置env配置SPARK_PRINT_LAUNCH_COMMAND -> true 表示在spark-submit 提交job的时候是否打印LaunchCommand
2019-11-29 16:52:24
4879
原创 Spark-SparkSession.Builder 源码解析
Spark-SparkSession.Builder 源码解析class BuilderSparkSessionExtensionsclass Builder这个类主要用来builder SparkSession有以下的属性：1.private[this] val options = new scala.collection.mutable.HashMap[String, String]；...
2019-11-22 14:11:30
5359
原创 Java-ThreadLocal与InheritableThreadLocal 源码解析
Java-ThreadLocal 源码解析ThreadMapThreadThreadLocalthreadLocal 的主要作用是用来保存线程变量的。它的生命周期主要和Thread类结合在一起使用。ThreadMapThreadLocalMap是ThreadLocal中的一个静态内部类。这个类为什么要是一个静态内部类啦？其类内部有staic类型的属性、方法、内部类。。。其类部还有一个静态类...
2019-11-19 16:33:09
319
1
原创 oozie-workFlow action之间传递参数sh示例
oozie-workFlow action之间传递参数sh示例参数提供方参数使用方运行结果验证参数提供方shthisDay='2019-11-16'echo "thisDay:$thisDay"2.action注意：1.一定在files中加入sh脚本，因为oozie调度是在整个平台上的，所以files中一定要加入进去，可以让任务执行时找到执行文件。2. shell-dbc9...
2019-11-18 15:22:21
356
原创 Java-非静态内部类与静态内部类 对比
Java-非静态内部类与静态内部类解说内部类的特性非静态内部类静态内部类内部类的特性非静态内部类可以非常方便的使用其所在外部类的变量和方法。静态内部类可以非常方便的使用其所在外部类的静态变量和方法，但是不能访问外部类的非静态变量和方法。非静态内部类注意点：1.在普通内部类里面是不能声明静态类变量和类常量及方法的。但是静态内部类是可以有的public class InnerClas...
2019-11-14 18:57:34
286
原创 Spark源码-SparkConf(scala)
Spark源码-SparkConf SparkConf ClassSparkConf objectConfigProviderEnvProviderSystemProviderMapProviderSparkConfigProviderConfigReader class objectConfigReader objectConfigReader class这个类的目的是配置用户运行时的一些配置...
2019-11-13 15:44:41
371
原创 Spark源码-StaticSQLConf (scala)
Spark-scala 源码-StaticSQLConf StaticSQLConf源码阅读StaticSQLConf ObjectSQLConf Object&classConfigBuilder case classTypedConfigBuilder classConfigEntry abstract classStaticSQLConf源码阅读StaticSQLConf Obj...
2019-11-12 19:15:55
301
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人