scala
文章平均质量分 72
huangyinzhao
这个作者很懒,什么都没留下…
展开
-
Scala中Json解析String,获得多级key
代码块导入包import scala.util.parsing.json._def main(args: Array[String]): Unit = { def regJson(json:Option[Any]) = json match { case Some(map: Map[String, Any]) => map// case None =>...转载 2018-05-29 21:47:09 · 3554 阅读 · 0 评论 -
SparkSQL中UDF和UDAF
UDF: User Defined Function,用户自定义的函数,函数的输入是一条具体的数据记录,实现上讲就是普通的Scala函数;UDAF:User Defined Aggregation Function,用户自定义的聚合函数,函数本身作用于数据集合,能够在聚合操作的基础上进行自定义操作;实质上讲,例如说UDF会被Spark SQL中的Catalyst封装成为Expression,最终会...转载 2018-05-29 19:43:00 · 492 阅读 · 0 评论 -
Spark的RDD操作之Join大全!
一、RDD的Join操作有哪些?(一)Join:Join类似于SQL的inner join操作,返回结果是前面和后面集合中配对成功的,过滤掉关联不上的。源代码如下:[plain] view plain copy/** * Return an RDD containing all pairs of elements with matching keys in `this` and `other`...转载 2018-05-29 11:59:31 · 2355 阅读 · 0 评论 -
Spark RDD 整理
目录 Spark计算模型... 1 1. 课程目标... 1 1.1. 熟练使用RDD的算子完成计算... 1 1.2. 掌握RDD的原理... 1 2. 弹性分布式数据集RDD.. 1 2.1. RDD概述... 1 2.1.1. 什么是RDD.. 1 2.1.2. RDD的特性... 1...原创 2018-05-28 00:15:56 · 202 阅读 · 0 评论 -
Scala中高级算子,combineByKey
为什么单独讲解combineByKey?因为combineByKey是Spark中一个比较核心的高级函数,其他一些高阶键值对函数底层都是用它实现的。诸如 groupByKey,reduceByKey等等如下给出combineByKey的定义,其他的细节暂时忽略(1.6.0版的函数名更新为combineByKeyWithClassTag)[java] view plain copydef combi...转载 2018-05-16 19:32:32 · 1121 阅读 · 0 评论 -
Scala泛型及限定
1 Scala泛型1.1 泛型函数 ClassTag[T]保存了泛型擦除后的原始类型T,提供给被运行时的。[java] view plain copy /* * 泛型[],中括号F、S、T都表示运行时参数类型, * ClassTag[T]保存了泛型擦除后的原始类型T,提供给被运行时的。 */ class Triple[F: ClassTag, S...转载 2018-05-15 22:25:38 · 1080 阅读 · 0 评论 -
spark数据缓存到内存中的方法
RDD.cache()一般用法: sc.textFile(" 路径").cache 数据就已经缓存到内存中,可以提高运算速度,当然要注意,我们的内存容量原创 2018-05-18 19:18:44 · 6024 阅读 · 0 评论 -
RDD 直接存入MySQL,以及直接读取MySQL中数据
在spark中,直接把RDD文件存到数据库中。 object IPLocation { //每个分区连接一次MySQL,并且存储数据。 val data2MySQL =(iterator: Iterator[(String, Int)]) => { var conn: Connection =null var ps :PreparedStatement = null //这...原创 2018-05-17 21:46:06 · 3373 阅读 · 0 评论 -
scala中常用的10个方法
操作 Scala 集合时,一般会进行两类操作:转换操作(transformation )和行动操作(actions)(有些人喜欢叫他为聚合操作)。第一种操作类型将集合转换为另一个集合,第二种操作类型返回某些类型的值。1、mapmap 是 Scala 集合最常用的一个函数。它的功能十分强大:[html] view plain copyvalnumbers= Seq(1,2,3,4,5,6) /...转载 2018-05-10 15:39:26 · 3069 阅读 · 1 评论 -
MyEclipse上传项目到github(详细)
提交项目本文参考:点击打开链接第一步:在github上注册一个账号:点击打开链接第二步:登陆github并创建一个仓库a.点击右上角‘’+‘’号,开始创建一个新的仓库b.给仓库起个名字,设置权限为公共的,点击创建c.获取仓库的URL第三步:在MyEclipse中右击项目------->Team------->Share Project第六步:选中Git 点击Next第七步:一定记得勾选...转载 2018-06-20 21:04:19 · 2514 阅读 · 1 评论