![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
DT大数据梦工厂_3000门徒
chinsun_1
这个作者很懒,什么都没留下…
展开
-
Spart内核天机解密(2016)第一讲 Scala光速入门
Scala光速入门原创 2016-01-02 11:04:13 · 821 阅读 · 0 评论 -
2016 第2讲 Scala面向对象彻底精通及Spark源码阅读
2016/1/2晚7点 准时参加了王家林老师的3000门徒的课程,学习了Scala中的类、Object实战和Scala的抽象类、接口实战等内容。相比前一讲第二讲的内容更深入了,难度更高了,如果初学者的话课后真需要好好消化,包括自己之前看过也有必要把王老师以前的51CTO上的视频再翻出来看看,加以巩固。关于第二讲的作业,读懂Spark Context和RDD至少70%代码的源码。原创 2016-01-03 14:56:17 · 513 阅读 · 0 评论 -
Spark内核天机解密(2016)第三讲 Scala函数式编程
作业:统计一个文件夹下面所有的单词出现的总次数笔记:变量与函数>def fun1(name: String) {println(name)}fun1: (name: String)Unit>val fun1_v = fun1 _ //注意,是空格和下划线fun1_v: String => Unit = >fun1("Spark")Spark>fun1_原创 2016-01-04 06:08:41 · 1007 阅读 · 0 评论 -
2016 第四讲 Scala模式匹配、类型系统彻底精通与Spark源码阅读
20160104 19:00-21:00 课程笔录Scala模式匹配:可以对值,类型,集合进行匹配(1)值匹配// a. data值为Spark,Hadoop或其他时def bigData(data: String){data match { case "Spark" => println("Wow!!!") case "Hadoop"原创 2016-01-05 01:25:14 · 583 阅读 · 0 评论 -
DT_大数据梦工厂 第17课 RDD实战
今晚上课内容:1 map、filter、flatmap操作回顾2 reduceByKey、groupByKey3 join、cogroup join和cogroup是所有Spark学习者必须掌握的内容。大数据中最重要的算子操作是:join!!!!!以下是今天的项目实例及作业(用Scala写cogroup写一个实例)原创 2016-01-22 23:01:57 · 643 阅读 · 0 评论 -
DT大数据梦工厂- 第5讲 隐式转换和并发编程
********** 隐式转换********** 1.隐式参数函数>class Person(val name:String)>class Engineer(val name:String,val salary:Double)>new Person("Spark").code//调用Person的code方法出错,无此方法>class原创 2016-01-06 23:40:01 · 574 阅读 · 0 评论 -
DT大数据梦工厂- 第6课 精通Spark集群搭建与测试
20160106 课程笔记Spark上流行的存储框架: Hadoop的 HDFS 和 S3 云存储未来三至五年黄金组合框架:Spark+Tachyon+HDFSTachyon: 基于内存的分布式文件系统, 不同来源的数据,安装VMWare 软件电脑推荐16G: 两个 KINGSTON 8G,至少8G内存系统推荐Ub原创 2016-01-06 23:24:09 · 774 阅读 · 0 评论 -
DT_大数据梦工厂 第8课 彻底实战详解使用IDE开发Spark程序
2016/1/9 课堂笔录Scala开发IDE:IDEA和Eclipse。开发系统:一般推荐Windows7 64位。Eclipse开发 开发第一个Scala程序第一步:修改依赖的Scala版本为Scala 2.10.x Scala Library container: 2.10.6原创 2016-01-10 16:42:09 · 903 阅读 · 0 评论 -
第16课:Scala implicits编程彻底实战
Scala,Implict,隐式转换原创 2016-08-05 21:52:25 · 812 阅读 · 0 评论