大数据Spark “蘑菇云”行动前传第5课：零基础实战Scala函数式编程及Spark源码解析

最新推荐文章于 2017-07-13 07:29:13 发布
最新推荐文章于 2017-07-13 07:29:13 发布
阅读量762 收藏
点赞数
分类专栏： 大数据蘑菇云行动
热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行
本文链接：https://blog.csdn.net/duan_zhihua/article/details/52006329
版权
本课程聚焦于Scala函数式编程的基础实战，通过示例演示了数组操作、集合操作、ArrayBuffer的使用，以及如何进行排序、过滤等操作。此外，还涉及到Spark源码解析的相关内容。
摘要由CSDN通过智能技术生成

大数据Spark “蘑菇云”行动前传第5课：零基础实战Scala函数式编程及Spark源码解析
1 spark中scala集合操作鉴赏
2 scala集合操作实战

 

 

 

 

 

 

 

 

 

 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
段智华
关注
专栏目录
订阅专栏
大数据spark蘑菇云行动前传第5课：零基础彻底实战Scala函数式编程及Spark源码解析
段智华的博客
07-22 861
大数据spark蘑菇云行动前传第5课：零基础彻底实战Scala函数式编程及Spark源码解析 1 零基础彻底实战Scala函数式编程入门 2 Spark源码中的scala函数式编程鉴赏             package com.dt.spark.scala.bascis object HelloFunctionPograming {   def main(a
大数据Spark “蘑菇云”行动前传第5课：零基础实战Scala函数式编程及Spark源码解析(学习笔记)
08-06 206
本課課程： 零基礎实战Scala 函数式编程Spark 源碼中的 Scala 函数式编程鑒賞 Spark 源碼中的 Scala 函数式编程鑒賞 這些是函数，里面傳進出的方法要麼是自己本身，要麼是自己的子類。 沒有函数體表明這是抽象函数 這里 SparkContext 函数里有一個 sc，這個 sc 又是另外一個函数（這里是一個函数赋值給另外一個函数的例
大数据Spark “蘑菇云”行动前传第7课：零基础实战Scala面向对象编程及Spark源码解析
段智华的博客
07-24 669
大数据Spark “蘑菇云”行动前传第7课：零基础实战Scala面向对象编程及Spark源码解析 1 spark 中面向对象鉴赏 2 scala中面向对象代码操作实战
大数据Spark “蘑菇云”行动前传第4课：零基础彻底实战Scala控制结构及Spark源码解析
段智华的博客
07-21 624
大数据Spark “蘑菇云”行动前传第4课：零基础彻底实战Scala控制结构及Spark源码解析 1 零基础彻底实战Scala控制结构 2 控制结构在spark源码中的鉴赏     none 省写的话默认是（）是返回any类型，而none是optional类型。           /** This case object represents non-exi
大数据Spark “蘑菇云”行动前传第8课：零基础实战Scala最常用数据结构Map和Tuple及Spark源码鉴赏(学习笔记)
08-06 110
本課課程： Map和Tuple及Spark源码中的鉴赏Map和Tuple代碼操作实战 Map和Tuple及Spark源码中的鉴赏 Map 的例子 HashMap 是 Map 的子類 這里也是 Map 的操作 Tuple 的例子
大数据Spark “蘑菇云”行动前传第8课：零基础实战Scala最常用数据结构Map和Tuple及Spark源码解析
段智华的博客
07-26 1137
大数据Spark “蘑菇云”行动前传第8课：零基础实战Scala最常用数据结构Map和Tuple及Spark源码解析   1 Map 和Tuple 在spark源码中的鉴赏 2 Map 和Tuple 代码操作实战   map - tree - graph   map:无为天地之始 有为万物之母   java:  array list 不能放不同类型的数据 只容纳一种类型 Tup
大数据Spark “蘑菇云”行动前传第15课：Scala类型参数编程实战及Spark源码鉴赏(学习笔记)
08-06 152
本課課程： Spark源码中的Scala类型系統的使用Scala类型系統编程操作实战 Spark源码中的Scala类型系統的使用 classOf[RDD[_]] 這個也是类型系統 這里的意思是說 B 這種類型必需至少是 A 這樣類型 Ordering
大数据Spark蘑菇云行动前传第12课：Scala函数式编程（匿名函数、高阶函数、函数类型推断、Currying）...
weixin_34050519的博客
08-05 94
packagecom.dtspark.scala.basics /** *函数式编程进阶： *1，函数和变量一样作为Scala语言的一等公民，函数可以直接赋值给变量； *2,函数更长用的方式是匿名函数，定义的时候只需要说明输入参数的类型和函数体即可，不需要名称，但是如果你 *要使用的话，一般会把这个匿名函数赋值给一个变量（其实是val常量），Spark源码...
大数据Spark “蘑菇云”行动前传第12课：Scala函数式编程进阶与Spark源码鉴赏
段智华的博客
07-31 573
大数据Spark “蘑菇云”行动前传第12课：Scala函数式编程进阶与Spark源码鉴赏   1 Spark源代码中 Scala函数式编程 2 Scala函数式编程实战                                         package com.dt.spark.scala.bascis   ob
大数据Spark “蘑菇云”行动前传第20课：Scala提取器、注解深度实战详解及Spark源码鉴赏大数据Spark “蘑菇云”行动前传第20课：Scala提取器、注解深度实战详解及Spark源码鉴
段智华的博客
08-10 597
大数据Spark “蘑菇云”行动前传第20课：Scala提取器、注解深度实战详解及Spark源码鉴赏大数据Spark “蘑菇云”行动前传第20课：Scala提取器、注解深度实战详解及Spark源码鉴赏 1 Spark源码提取器、注解 2 Scala提取器、注解深度 这里是个面试题，模式匹配时候一定会用的到是什么方法呢？答 unapply
windows环境下的socket nc 测试小工具nc -L -p 9999
热门推荐
段智华的博客
09-10 1万+
windows环境下的socket nc  测试小工具nc -L -p 9999   在windows本地 进行测试，发送socket包到是怕人看streaming。少了这个工具还真不方便。   nc.exe网上下载，保存在C:\nc.exe；同时也保存一份放到了百度云盘，我的实验目录里面   操作步骤： 1. cd  C:\nc.exe 2 , 启动eclipse的spark
第45课 Spark 2.0实战之Dataset：map、flatMap、mapPartitions、dropDuplicate、coalesce、repartition等
段智华的博客
09-16 9765
第45课 Spark 2.0实战之Dataset：map、flatMap、mapPartitions、dropDuplicate、coalesce、repartition等   package com.dt.spark200 import org.apache.spark.sql.SparkSession import scala.collection.mutable.ArrayBuffe
spark 2.0.0 开始了
段智华的博客
09-10 7289
spark 2.0.0 开始      SparkSession    spark = SparkSession     .builder()     .master("Local")     .appName("JavaWordCount")     .getOrCreate();     16/09/10 09:41:27 ERROR SparkContext: Erro
第46课程 Spark 2.0实战之Dataset：sort、join、joinWith、randomSplit、sample、select、groupBy、agg、col等
段智华的博客
09-17 5319
第46课程 Spark 2.0实战之Dataset：sort、join、joinWith、randomSplit、sample、select、groupBy、agg、col等 package com.dt.spark200 import org.apache.spark.sql.SparkSession import scala.collection.mutable.ArrayBuffer
大数据Spark “蘑菇云”行动第47课程 Spark 2.0实战之Dataset：collect_list、collect_set、avg、sum、countDistinct等
段智华的博客
09-17 5022
大数据Spark “蘑菇云”行动第47课程 Spark 2.0实战之Dataset：collect_list、collect_set、avg、sum、countDistinct等   Dataset API: http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.functions$  
第53课实战操作Kafka+Flume成功！ Spark大型项目广告点击项目技术骨架实现之Spark+Kafka+Flume实战
段智华的博客
10-04 3218
第53课实战操作Kafka+Flume成功！： Spark大型项目广告点击项目技术骨架实现之Spark+Kafka+Flume实战   flume 安装在集群的worker4上，地址192.168.189.5 1.下载 flume  http://flume.apache.org/download.html 2.上传worker4 192.168.189.5
大数据Spark “蘑菇云”行动第72课： 基于Spark 2.0.1项目实现之二. 实战 各种小bug修复及性能调优 200并行度调整为2个task
段智华的博客
11-03 2986
大数据Spark “蘑菇云”行动第72课： 基于Spark 2.0.1项目实现之二.   规律：agg前一般都进行grouBy操作           {"userID":"userID5234","Name":"zhangsan","Gender":"man","Occupation":"student"} {"userID":"userID2234","Name":"li
数据倾斜解决方案之六：使用随机数进行Join
段智华的博客
07-13 2742
30.7数据倾斜解决方案之六：使用随机数进行Join本节讲解使用随机数进行Join，首先讲解什么叫使用随机数进行Join来解决数据倾斜问题，然后讲解如何使用随机数？使用随机数进行Join来解决数据倾斜问题使用场景、案例实战、注意事项等内容。30.7.1什么叫使用随机数进行Join来解决数据倾斜问题？        使用随机数进行Join来解决数据倾斜问题：如果2个RDD的数据中某个Key或者某几个
Spark入门精通：实战+源码解析，Scala编程与性能优化
学员将学习Scala的基本语法、面向对象编程和函数式编程的特点。 2. **课程环境搭建**：课程会引导学生如何设置Spark开发环境，包括安装必要的软件如Hadoop、Spark、Scala等，并配置好开发工具，以便实现实战项目。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

段智华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值