- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 scala---SparkContet的方法集合源码理解
accumulable:创建一个[org.apache.spark.Accumulable]共享变量。/** * Create an [[org.apache.spark.Accumulable]] shared variable, to which tasks can add values * with `+=`. Only the driver can access the ...
2018-12-31 17:35:02
181
原创 scala api--org.apache.spark下的包了解
org.apache.spark.Accumulable一种可以累加的数据类型---累加器典型成员方法：add(term:T):Unit向累加器里面添加数据merge(ter,:T):Unit将两个累加器聚合org.apache.spark.Accumulator累加器，初始化由SparkContext#accumulator创建scala> val a...
2018-12-31 17:34:31
2323
原创 scala学习--基础教程
scala是什么？scala是一门多范式语言，集成了面向对象和函数式语言的特性。scala是面向对象的：对象的类型和行为是由类和特质描述的scala是函数式的：为定义匿名函数提供了轻量级的语法，支持高阶函数，允许函数嵌套。常量：使用关键字val定义。val x=1+11,不能被重新赋值变量：使用关键字var定义。var x:Int=1+1，可重新赋值 函数：带有参数的表...
2018-12-30 16:17:10
115
原创 spark源码解读--FP-Tree和FP-Growth
paper的实验一个想法是对fp-tree进行改进，所以对spark里面的 fp-tree源码进行理解。记录一下。资料：https://blog.csdn.net/LULIN60/article/details/52255242?utm_source=blogxgwz0关于fp-tree的结点/** Representing a node in an FP-Tree. */ cl...
2018-12-28 16:28:53
1139
原创 leetcode 算法notes--two sum
数组两个元素相加等于目标值，返回这两个元素的下标第一种方法，就直接循环判断的，时间复杂度为(n^2) public static int[] twoSum(int[] nums, int target) { int[] result=new int[2]; for(int i=0;i<nums.length;i...
2018-12-27 21:48:20
144
原创 sql语句中的几个连接：inner join,left join,right join,outer join的区别
最近经常用到join相关的操作，但是对几个jion的区别并不是很理解，特地总结学习一下。学参考资料：https://www.cnblogs.com/logon/p/3748020.html，https://www.cnblogs.com/assasion/p/7768931.html 图片来源：https://www.cnblogs.com/logon/p/3748020.ht...
2018-12-24 09:43:52
313
原创 基本数据结构-堆，栈，队列
栈stack:先进后出（last in ,first oute）队列（queue）:先进先出（first in,first out）链表（link list）线性表特点：在元素的有限集中，除第一个元素无直接前驱，最后一个元素无直接后驱外，每个数据元素有且仅有一个直接前驱元素和一个直接后续元素。线性表用一组地址连续的存储单元一次存储线性表的数据元素。假设每个数据元素占k个存储单元...
2018-12-16 14:22:16
146
原创 spark streaming 官网文档---notes(1)
StreamingContex的初始化两种方式：第一种：从SparkConf对象中创建import org.apache.spark._import org.apache.spark.streaming._val conf = new SparkConf().setAppName(appName).setMaster(master)val ssc = new Streamin...
2018-12-03 17:48:10
185
原创 scala 官网文档---notes（1）
scala类型的层次结构如下图：最顶层Any有两个子类：AnyVal和AnyRefAnyVal：表示值类型的 Unit:不包含任何有意义的信息的值类型AnyRef：表示引用类型的 所有非值类型都定义为引用类型 值之间的转换关系如下图，单向的class 声明 Scala中class的定义scala是一类面向对象的程序语言，强类型。...
2018-12-01 16:37:55
438
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人