Scala
tom_8899_li
这个作者很懒,什么都没留下…
展开
-
第142课:Spark面试经典系列之Cache和Checkpoint
Spark面试经典系列之Cache和Checkpoint1、Cache 2、CheckpointCache:当我们想复用数据的时候一般都会进行Cache,在实际生产环境下复用RDD是最重要的性能优化手段之一(当然,如果能够实现优良的RDD的复用,一定是建立在同时驾驭业务和技术的基础之上的)。所谓的Cache其实是把数据经过第一次计算放在了BlockManager中。Checkpoint:相当于Ca原创 2017-05-05 16:15:38 · 517 阅读 · 0 评论 -
3000门徒内部训练绝密视频(泄密版)第2课:Scala面向对象彻底精通及Spark源码阅读
Scala面向对象彻底精通及Spark源码阅读不用写public class中的publicclass Person { private var myName = "flink" def name = this.myName def name_=(newName:String){ //重载? myName = newName println("Hi " +原创 2016-07-17 14:35:56 · 708 阅读 · 0 评论 -
3000门徒内部训练绝密视频(泄密版)第5课:彻底精通Scala隐式转换和并发编程及Spark源码阅读
彻底精通Scala隐式转换和并发编程及Spark源码阅读Akka ,Scala内部并发 隐式转换、隐式类、隐式参数可以手动指定某种类型的对象或类转换成其他类型的对象或类。转换的原因是假设写好接口 implicit conversion function implicit def function 根据隐式转换签名,在运行时将其转换成另一个类型,完成后还回来。 命名规则:…to…scala>原创 2016-08-11 21:32:30 · 639 阅读 · 0 评论 -
3000门徒内部训练绝密视频(泄密版)第4课:Scala模式匹配、类型系统彻底精通与Spark源码阅读
Scala模式匹配、类型系统彻底精通与Spark源码阅读模式匹配和java中的switch case 差不多,但scala比java强大,因为他可以对函数、集合、class进行匹配Option表示是否有值scala> def bigData(data: String){ data match { case "Spark" => println("Wow!") case "Ha原创 2016-08-11 21:29:11 · 546 阅读 · 0 评论 -
3000门徒内部训练绝密视频(泄密版)第3课:Scala中函数式编程彻底精通及Spark源码阅读
Scala中函数式编程彻底精通及Spark源码阅读函数可以不依赖于类,函数可以作为函数的参数,函数可以作为函数的返回值 =>表明对左面的参数进行右面的加工函数赋值给变量需要在函数名后面加空格和下划线scala> def fun1(name: String){println(name)}fun1: (name: String)Unitscala> val fun1_v = fun1 _fun1_原创 2016-08-10 20:59:40 · 818 阅读 · 0 评论 -
3000门徒内部训练绝密视频(泄密版)第1课:大数据最火爆语言Scala光速入门
大数据最火爆语言Scala光速入门scala 可以使用java的库 scala 的工厂方法:apply 条件表达式有返回值 数组可以用to ,箭头 <- 最后一行内容的值是整个代码块的返回值 def函数 定义函数,调用不按顺序 函数:def 函数名,参数名:类型名,可以设定默认值,后可跟=号,如def f1 ( param1:String, param2: Int = 30) = par原创 2016-08-10 11:26:34 · 1061 阅读 · 0 评论 -
第147课:Spark面试经典系列之Shuffle的性能调优问题
Spark面试经典系列之Shuffle的性能调优问题1、Shuffle原理和运行机制回顾 2、Shuffle性能调优上面的流程中: 性能问题1:Mapper端的Cache:如果Cache设置的大小不恰当,可能产生大量磁盘的访问操作,因为要频繁地往本地磁盘写数据。 性能问题2:Reducer端的Business Logic运行的空间,如果说空间分配不够,业务逻辑运行的时候被迫把数据Spill到磁原创 2017-05-05 16:22:19 · 1334 阅读 · 0 评论