墨玉浮白的博客

Spark算子回顾！一、Transformations算子1.map特点就是：一对一，进来一个出去一个 JavaRDD<String> map = lines.map(new Function<String, String>() { @Override public String call(String ...

1）Spark core：是其它组件的基础，spark的内核，主要包含：有向循环图、RDD、Lingage、Cache、broadcast等，并封装了底层通讯框架，是Spark的基础。2）SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kafka、Flume、Twitter、Zero和TCP 套接字）进行类似Map、Reduce和Join等复...

创建类：val修饰常量，不可修改。var修饰变量，可修改。类是可以传参的！还得指定参数类型类中的属性默认有get。set方法，使用时直接赋值就好了new的时候，除了方法不执行，其它的都执行使用new Person(“husky”,4)的方式生成对象，使用val修饰，更高容易回收方法调用。使用对象调用方法：p.doSomething（）。class Person(xname:Stri...

文章目录一、if...else...二、循环2.1 to和until 的用法2.2 for循环2.3 创建双层for循环2.4 for循环的骚操作2.5 while和do while一、if…else… var n=3 if (n==0){ println("n==0") }else if(n==1){ println("n==1") }else...

文章目录1.Scala方法定义2.递归方法3.参数有默认值的方法4.可变参数5.匿名函数6.嵌套方法7.偏应用函数8.高阶函数8.1函数的参数是函数8.2函数的返回是函数8.3函数的参数和返回都是函数9.柯里化函数1.Scala方法定义1.使用def定义方法2.可以传入参数，但是要指定类型3.返回值类型可写可不写，会自动推断。但是在递归方法、方法返回值类型是函数的时候，必须写4.re...