comeOnBaby126的博客

。。。。。

spark运行流程分为资源环境准备和任务提交运行两个步骤，两个步骤交叉进行，当前以任务提交为主线进行源码分析。资源环境准备线，可以参考spark源码解析之二、计算资源准备一、spark任务提交时序图本次源码跟踪是在yarn-cluster模式下的原码，在源码中只关注cluster模式，如果没有特殊说明，默认yarn-cluster模式。鉴于spark源码的复杂性，为了今后复习方便，按照时间先后顺序将spark应用启动的任务提交流程源码绘制时序图。在时序图中只是列举了重要的节点，与主题无关的类或者对象

spark运行流程分为资源环境准备和任务提交运行两个步骤，两个步骤交叉进行，当前以资源准备为主线进行源码分析。一、源码时序图二、源码详细分析1 org.apache.spark.deploy1.1 main def main(args: Array[String]): Unit = { //解析spark-submit命令提交的参数 val appArgs = new SparkSubmitArguments(args) if (appArgs.verbose) {

总体概述流程如下图

双value算子

1.groupBy1)函数签名def groupBy[K](f: T => K)(implicit kt: ClassTag[K]): RDD[(K, Iterable[T])]2)功能描述 函数f接收参数类型为一个表达式，将T转化为K，结果中就以表达式的结果为key，即泛型K与入参保持一致，value为输入类型的列表，即泛型T对应入参T。 其实从函数的出入参对应关系可以看出，groupby只是对输入的数据，按照一定的规则进行分组。3)简单案例...

1. map1)函数签名def map[U: ClassTag](f: T => U): RDD[U]2)功能描述 数f是一个函数，它可以接收一个参数。当某个RDD执行map方法时，会遍历该RDD中的每一个数据项，并依次应用f函数，从而产生一个新的RDD。即，这个新RDD中的每一个元素都是原来RDD中每一个元素依次应用f函数而得到的。3)简单案例sc.makeRDD(1 to 4,2).map(_*2).foreach(println)2.mapPart...

spark 算子包含转换算子

行动算子

shell编程shell历史执行脚本基本...

一、关于算子updateStateByKey参数问题：dataDS.updateStateByKey(updateFunction).print()/** * Return a new "state" DStream where the state for each key is updated by applying * the given function on the pre...

最近项目中需要用到spark/hive 处理业务逻辑，手痒写了一些代码，结果不可描述。其实问题很简单，简单的无法描述。spark支持hive即可。Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: xxx.xxx_base_ad, the databa...

出现这种问题主要原因在于BBBB服务没有注册到注册中心，或者注册到其它地方去了。本地注册没问题，到测试或者开发环境报错。网上总结原因，白名单没配置，消费端、提供方dubbo配置文件都没问题。产生原因：BBBB服务没有注册到注册中心，配置端口与其他服务重复。以至于本地跑没问题，开发测试环境有问题。...

字面意思：字符串文字包含一个非转义行中断。事故现场：后台管理列表页面，每条记录可以通过编辑按钮更新记录，正常记录可以正常操作，个别记录点击“编辑”按钮，编辑页面错乱（页面没有按照js逻辑展示），浏览器控制台输出：SyntaxError: '' string literal contains an unescaped line break。处理流程：1.初步怀疑页面js因为后台传输参数错误导...

        后台项目中经常会用到下拉列表或者多选框，可能因为权限控制或者其它原因，要求在审核或则修改时禁用多选框或者下拉列表，使用$("#id").attr("disabled",true)可以禁用下拉列表或者多选框，但是这样会带来新的问题，被禁用下拉列表无法将数据传到服务端，如何做到既能禁用又能够将数据传到后台呢？提供一下几个思路：        1.正常采用$("#id").attr("d...

主要介绍java常用解析二维码的两种方式！第一种：使用1.maven依赖        <dependency>             <groupId>QRCode</groupId>             <artifactId>QRCode</artifactId>             <version>3.0&...