spark
泪痕残
这个作者很懒,什么都没留下…
展开
-
第四课、Scala集合
1.Scala中的List 1)Scala中的List和Java中的不同,一旦创建了就不可改变 2)List中元素的类型只能是一种 3)List定义 val list=List(1,2,3) 或者 val list=1::2::3 4)List中常用方法 ::: 将两个list叠加,返回新原创 2016-08-03 17:52:30 · 401 阅读 · 0 评论 -
SparkApplication依赖第三方jar文件解决方式
SparkApplication依赖第三方jar文件解决方式原创 2017-12-05 11:40:46 · 4750 阅读 · 0 评论 -
Spark应用的优化
spark应用优化原创 2017-12-01 08:51:21 · 242 阅读 · 0 评论 -
Spark RDD操作讲解
spark rdd 操作 spark rdd算子分类及作用原创 2017-08-10 22:55:20 · 2985 阅读 · 1 评论 -
用spark-submit启动Spark应用程序
spark-submit启动应用程序原创 2017-08-08 15:42:47 · 1000 阅读 · 0 评论 -
Spark根据key,按照一定条件对数据去重
使用groupByKey和reduceByKey,将数据按照某一特定条件去重原创 2017-07-03 11:44:03 · 14676 阅读 · 5 评论 -
解决spark中文乱码
由于spark在读取文件时的默认编码格式为utf-8,所以spark在处理gbk格式的文件时会出现乱码问题,以下代码则可以解决这一问题import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.hadoop.io.LongWritableimport org.apache.hado原创 2017-06-02 14:30:12 · 12670 阅读 · 3 评论 -
第五课、Scala类
1.类的定义 类是对象的蓝图,一旦定义了类,就可以使用关键字new根据类的蓝图创建对象2.字段和方法 字段:不管是用var定义还是用val定义,都是指向对象的变量 1)Scala中字段默认是私有字段 2)Scala中方法可以访问该类的所有对象的私有字段 方法:用def定义,包含了可执行的代码 字段和方法的关系:字段保留了对象的状态和数据,而方法使用这些数据执行对象的原创 2016-08-09 15:39:33 · 352 阅读 · 0 评论 -
第三课、Scala数组
1.数组定义 一般数组定义: val array = new Array[Int](5) Scala中可这样定义: val array = Array(1,2,3,4,5) //1.直接通过Array类名并传入参数的方式来创建数组实例,在背后的实现是调用Array的工厂方法模式apply来构建出数组及数组的内容的 2.在这里可以去掉[I原创 2016-08-03 11:42:44 · 677 阅读 · 0 评论 -
第二课、Scala函数
1.函数可以被简单的被认为是包裹了一条或者几条语句的代码体,该代码体接收若干参数,经过代码体处理后返回结果,形如数学中的f(x) = x + 12.在Scala中函数是一等公民,可以像变量一样被传递,被赋值,同时函数可以赋值给变量,变量也可以赋值给函数,之所以可以是这样,原因在于函数背后是类和对象,也就是说在运行的时候函数其实是一个变量3.Scala函数背后的类是Scala自动生成的,原创 2016-08-03 11:11:03 · 439 阅读 · 0 评论 -
第一课、Scala基本语法和控制结构
1.Scala介绍 Scala 是一种把面向对象和函数式编程理念加入到静态类型语言中的混血儿。Scala 的许多不同的方面都展现了面向对象和函数式编程的熔合2.函数式编程的两种理念1)第一种 函数式头等值,在函数式语言中,函数也是值,与整数或字符串处于同一个地位 函数可以被当做采纳数传给其他函数,可以当做结果从函数中返回或保存在变量中原创 2016-08-03 10:02:55 · 644 阅读 · 0 评论 -
Spark Application运行流程
1.客户端启动,初始化相关的环境变量,包括application代码的提交 2.反射调用org.apache.spark.deploy.yarn.Client,创建AriverActor(其他方式提交,Driver可能运行在Worker节点中) 3.向Master注册Driver 4.Driver初始化SparkContext、DAGScheduler、TaskScheduler等 5.D...原创 2018-05-20 10:16:10 · 1387 阅读 · 0 评论