![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
Jacy_Wang
这个作者很懒,什么都没留下…
展开
-
Spark源码系列之Standalone模式下Spark应用的整个启动过程
一,Standalone模式下的spark角色 大家都知道在Standalone模式下,spark一共有以下五种角色:sparksubmit,master,Worker,Driver,Executor。具体这五种角色在我们提交应用的时候起到哪些作用呢,我们下面就来详细讲解。 1,SparkSubmit 加载一个Spark应用程序的入口。这个类处理设置spark相关依赖的Classpath(足见其重...转载 2019-04-09 10:40:45 · 313 阅读 · 0 评论 -
sparksql处理嵌套json
一,基本介绍 本文主要讲spark2.0版本以后存在的Sparksql的一些实用的函数,帮助解决复杂嵌套的json数据格式,比如,map和嵌套结构。Spark2.1在spark 的Structured Streaming也可以使用这些功能函数。 下面几个是本文重点要讲的方法。 A),get_json_object() B),from_json() C),to_json() D),explode()...转载 2019-04-03 13:42:05 · 2202 阅读 · 0 评论 -
Spark log4j 日志配置详解
一、spark job日志介绍 spark中提供了log4j的方式记录日志。可以在$SPARK_HOME/conf/下,将 log4j.properties.template 文件copy为 log4j.properties 来启用log4j配置。但这个配置为全局配置,不能单独配置某个job的运行日志。 在Spark的conf目录下,把log4j.properties.templa...转载 2019-07-31 15:39:33 · 939 阅读 · 0 评论