自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 资源 (1)
  • 收藏
  • 关注

原创 Spark spark-submit提交Job流程 解读

Spark-spark-submit提交Job流程 解读spark-submitspark-classload-spark-env.shorg.apache.spark.launcher.MainSparkSubmitCommandBuilder构造方法buildCommandOptionParser本篇博文详细讲讲spark-submit提交Job流程。spark-submit spark...

2019-11-29 18:09:43 2332

原创 Spark config配置项 一览

Spark config配置项 一览env配置env配置SPARK_PRINT_LAUNCH_COMMAND -> true 表示在spark-submit 提交job的时候是否打印LaunchCommand

2019-11-29 16:52:24 4879

原创 Spark-SparkSession.Builder 源码解析

Spark-SparkSession.Builder 源码解析class BuilderSparkSessionExtensionsclass Builder这个类主要用来builder SparkSession有以下的属性:1.private[this] val options = new scala.collection.mutable.HashMap[String, String];...

2019-11-22 14:11:30 5359

原创 Java-ThreadLocal与InheritableThreadLocal 源码解析

Java-ThreadLocal 源码解析ThreadMapThreadThreadLocalthreadLocal 的主要作用是用来保存线程变量的。它的生命周期主要和Thread类结合在一起使用。ThreadMapThreadLocalMap是ThreadLocal中的一个静态内部类。这个类为什么要是一个静态内部类啦?其类内部有staic类型的属性、方法、内部类。。。其类部还有一个静态类...

2019-11-19 16:33:09 319 1

原创 oozie-workFlow action之间传递参数sh示例

oozie-workFlow action之间传递参数sh示例参数提供方参数使用方运行结果验证参数提供方shthisDay='2019-11-16'echo "thisDay:$thisDay"2.action注意:1.一定在files中加入sh脚本,因为oozie调度是在整个平台上的,所以files中一定要加入进去,可以让任务执行时找到执行文件。2. shell-dbc9...

2019-11-18 15:22:21 356

原创 Java-非静态内部类与静态内部类 对比

Java-非静态内部类与静态内部类解说内部类的特性非静态内部类静态内部类内部类的特性非静态内部类可以非常方便的使用其所在外部类的变量和方法。静态内部类可以非常方便的使用其所在外部类的静态变量和方法,但是不能访问外部类的非静态变量和方法。非静态内部类注意点:1.在普通内部类里面是不能声明静态类变量和类常量及方法的。但是静态内部类是可以有的public class InnerClas...

2019-11-14 18:57:34 286

原创 Spark源码-SparkConf(scala)

Spark源码-SparkConf SparkConf ClassSparkConf objectConfigProviderEnvProviderSystemProviderMapProviderSparkConfigProviderConfigReader class objectConfigReader objectConfigReader class这个类的目的是配置用户运行时的一些配置...

2019-11-13 15:44:41 371

原创 Spark源码-StaticSQLConf (scala)

Spark-scala 源码-StaticSQLConf StaticSQLConf源码阅读StaticSQLConf ObjectSQLConf Object&classConfigBuilder case classTypedConfigBuilder classConfigEntry abstract classStaticSQLConf源码阅读StaticSQLConf Obj...

2019-11-12 19:15:55 301

spark2.4.8_on_hadoop3.3.3

spark2.4.8编译支持 hadoop3.3.3 和 hive2

2022-10-10

hive-exec-1.2.1.spark2.jar

hive-exec-1.2.1.spark2.jar spark2-shell 支持 hive2 hadoop3

2022-10-10

mongo-spark-connector_2.11-2.1.2.jar

mongo-spark-connector_2.11-2.1.2.jar 使用于 java7!

2019-12-19

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除