Spark
imarklei
不断积累,脚踏实地
淡定点,好好写代码
展开
-
Scala_(3)_函数式编程
一、Scala函数式编程1.函数定义及赋值给变量def fun1(name : String){printf("test")}// 函数定义fun1 : (name:String) Unitval fun1_v = fun1 _ //函数赋值给变量fun1_v :String => Unit = 2.匿名函数val fun = (conten原创 2017-05-18 15:10:11 · 314 阅读 · 0 评论 -
Scala_(4)_模式匹配
一、Scala模式匹配源码:Master①def bigdata(data:String){data match{case "Spark" => print("")case "Hadoop" =>print("")case _ => print("")}}②def bigdata(data:String,age:Int){原创 2017-05-18 15:11:36 · 384 阅读 · 1 评论 -
Scala_(5)_隐式转换|并发编程
一、隐式转换1.语法:implicit def xxxToxxx()代码1:class Person(val name : String)class Engineer(val name : String, val salary : Double){ def code = println("coding.....")}implicit def person2Eng原创 2017-05-18 15:13:05 · 672 阅读 · 1 评论 -
Spark集群环境搭建
一、开发工具JAVA:JDK(Oracle官网最新版)Hadoop(Version:2.7.3)Spark(Version:2.1.1)VirtualBoxScala(Vesion:2.1.12)Ubuntu(Vesion:16.04)二、Linux基本配置VirtualBox安装UbuntuUbuntu下切换到rootsudo passwd //设置roo原创 2017-05-31 15:41:25 · 2397 阅读 · 1 评论 -
Spark运行原理-WordCount解密
原创 2017-06-05 15:41:48 · 1009 阅读 · 0 评论 -
Spark内核
一、Spark RDD(Spark弹性分布式数据集)1. RDD是分布式函数式编程的抽象2. RDD的弹性:1. 自动地进行内存和磁盘数据存储的切换2. 基于Lineage的高效容错3. Task如果失败,则会自动进行特定次数的重试4. Stage如果失败,则会进行特定测试的重试,且只会计算失败的分片5. Checkpoint和Persist原创 2017-06-23 14:18:56 · 1890 阅读 · 2 评论