- 博客(4)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 在IDE下开发第一个Scala程序
package com.dtspark.scala.basics /** * object作为Scala中的一个关键字，相当于Java中的public static class这样的一个修饰符，也就说object中的成员都是静态的！ * 所以我们在这个例子中的main方法是静态的，不需要类的实例就可以直接被虚拟机调用，而这正是作为JVM平台上程序入口的必备 * 条件； * 疑问：
2016-08-29 18:09:58
1805
1
转载 Scala implicits编程彻底实战及Spark源码鉴赏
本課課程： Spark源码中的Scala的 implicit 的使用Scala的 implicit 编程操作实战Scala的 implicit 企业级最佳实践 Spark源码中的Scala的 implicit 的使用 這個東西意義非常重大，RDD 本身沒有所謂的 Key, Value，只不過是自己本身解讀的時候把它變成 Key Value 的方法去解讀，RDD 本身就是一個 Reco
2016-08-06 21:43:05
2244
转载 Spark面试经典系列之数据倾斜: 数据倾斜之痛
本課主題 Spark性能真正的杀手数据倾斜是多么痛 Spark性能真正的杀手 数据倾斜兩大直接致命性的的后果： 数据倾斜最杀人就是 Out-Of-Memory (OOM)，一般OOM都是由於数据倾斜所致!速度变慢、特别慢、非常慢、极端的慢、不可接受的慢。 数据倾斜基本特征：个别 Task处理大量数据 20％和80％，基本上都存在业务热点问题，这是现实问题!
2016-08-06 21:39:59
502
转载 Scala函数式编程进阶（匿名函数、高阶函数、函数类型推断、Currying）与Spark源码鉴赏
Spark源码中的Scala类函数式编程 函数是第一等公民，在Spark源码中函数随处可见。 函数可赋值给变量，同理变量也可赋值给函数。 RDD.scala 1 def map[U: classTag](f: T => U): RDD[U] = withScope [... (f: T => U)中，f代表函数，T代表函数f的参数
2016-08-03 15:00:40
552
Hive数据仓库（一）
2016-09-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人