Scala
livia*
这个作者很懒,什么都没留下…
展开
-
SCALA中:: , +:, :+, :::, +++的区别
4种操作符的区别和联系:: 该方法被称为cons,意为构造,向队列的头部追加数据,创造新的列表。用法为x::list,其中x为加入到头部的元素,无论x是列表与否,它都只将成为新生成列表的第一个元素,也就是说新生成的列表长度为list的长度+1(btw, x::list等价于list.::(x)scala> var list = List(1,2,3)list: List[Int]...原创 2019-11-27 08:37:16 · 225 阅读 · 0 评论 -
Scala SQL
创建DataFrames1)spark-shell版本spark中已经创建好了SparkContext和SQLContext对象2)代码:(快捷搜索:ctrl+R+shell(shell可以替换成要搜索的命令词))./spark-shell --master spark://hdp-1:7077 --executor-memory 500m --total-executor-cores...原创 2019-11-20 09:39:56 · 1275 阅读 · 0 评论 -
Stream
1、什么是StreamStream是一种可供流式操作的数据视图有些类似数据库中视图的概念它不改变源数据集合如果对其进行改变的操作它会返回一个新的数据集合。总的来讲它有三大特性:1、stream不存储数据2、stream不改变源数据3、stream的延迟执行特性2、Stream优点代码简洁,函数式编程写出的代码简洁且意图明确,使用stream接口让你从此告别for循环。多核友好...原创 2019-11-14 21:37:37 · 150 阅读 · 0 评论 -
lambda表达式
1、基本语法:(parameters) -> expression 或者:(parameters) ->{ statements;}例如:package zpark;public class ThreadTest { public static void main(String[] args) { //新线程(之前方法) ...原创 2019-11-14 14:35:44 · 196 阅读 · 0 评论 -
scala编写wordcount打包集群运行
Idea新建maven工程1、添加依赖如下:<properties> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.target> &l...原创 2019-11-14 13:40:11 · 161 阅读 · 0 评论 -
spark安装配置及其spark shell练习
1、下载spark压缩包,在虚拟机上解压安装2、配置 在conf中复制spark-env.sh.template并重命名为spark-env.sh mv spark-env.sh.templatespark-env.sh文件中添加如下配置:export JAVA_HOME=/root/apps/jdk1.8.0_201#export SPARK_MASTE...原创 2019-11-14 11:48:31 · 341 阅读 · 0 评论 -
Scala Trait 特征
Scala Trait(特征) 相当于 Java 的接口,实际上它比接口还功能强大。与接口不同的是,它还可以定义属性和方法的实现。一般情况下Scala的类只能够继承单一父类,但是如果是 Trait(特征) 的话就可以继承多个,从结果来看就是实现了多重继承。Trait(特征) 定义的方式与类类似,但它使用的关键字是trait,如下所示:trait Equal { def is...原创 2019-11-12 19:14:57 · 187 阅读 · 0 评论 -
Scala方法和函数
Scala有方法与函数,方法是类的一部分,函数是一个对象可以复制给一个变量,即类中定义的方法就是函数Scala中的方法跟Java的类似,方法是组成类的一部分Scala中的函数是一个完整的对象,继承了Trait的类的对象Scala中使用val语句可以定义函数,def语句定义方法方法声明Scala方法声明格式:def functionName ([参数列表]) : [retu...原创 2019-11-12 18:52:15 · 141 阅读 · 0 评论 -
Scala对象和类
Scala对象和类package scala.zpark//new关键字创建一个类,定义了两个变量x,y,一个方法move,xc,yc称为类参数,类参数在整个类中都可以访问class lianxi1(xc:Int,yc:Int){ var x:Int = xc var y:Int = yc def move(dx:Int,dy:Int){ x = x + dx ...原创 2019-11-12 16:41:57 · 189 阅读 · 0 评论 -
Scala 学习----安装并配置环境变量
1、在浏览器中下载scala2.11.8 版本:https://www.scala-lang.org/download/2.11.8.html下载完成后直接点击,一直next,直到finish(默认安装完成后的路径为:C:\Program Files (x86)\scala)2、配置环境变量:此电脑右键选择属性--高级系统设置--环境变量--新建系统变量:3、在No...原创 2019-11-12 13:36:13 · 173 阅读 · 0 评论