- 博客(4)
- 资源 (2)
- 收藏
- 关注
原创 在IDE下开发第一个Scala程序
package com.dtspark.scala.basics/** * object作为Scala中的一个关键字,相当于Java中的public static class这样的一个修饰符,也就说object中的成员都是静态的! * 所以我们在这个例子中的main方法是静态的,不需要类的实例就可以直接被虚拟机调用,而这正是作为JVM平台上程序入口的必备 * 条件; * 疑问:
2016-08-29 18:09:58 1828 1
转载 Scala implicits编程彻底实战及Spark源码鉴赏
本課課程:Spark源码中的Scala的 implicit 的使用Scala的 implicit 编程操作实战Scala的 implicit 企业级最佳实践Spark源码中的Scala的 implicit 的使用這個東西意義非常重大,RDD 本身沒有所謂的 Key, Value,只不過是自己本身解讀的時候把它變成 Key Value 的方法去解讀,RDD 本身就是一個 Reco
2016-08-06 21:43:05 2257
转载 Spark面试经典系列之数据倾斜: 数据倾斜之痛
本課主題Spark性能真正的杀手数据倾斜是多么痛Spark性能真正的杀手数据倾斜兩大直接致命性的的后果:数据倾斜最杀人就是 Out-Of-Memory (OOM),一般OOM都是由於数据倾斜所致!速度变慢、特别慢、非常慢、极端的慢、不可接受的慢。数据倾斜基本特征:个别 Task处理大量数据20%和80%,基本上都存在业务热点问题,这是现实问题!
2016-08-06 21:39:59 506
转载 Scala函数式编程进阶(匿名函数、高阶函数、函数类型推断、Currying)与Spark源码鉴赏
Spark源码中的Scala类函数式编程函数是第一等公民,在Spark源码中函数随处可见。函数可赋值给变量,同理变量也可赋值给函数。RDD.scala1def map[U: classTag](f: T => U): RDD[U] = withScope [...(f: T => U)中,f代表函数,T代表函数f的参数
2016-08-03 15:00:40 575
Hive数据仓库(一)
2016-09-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人