Scala
大数据老哥
这个作者很懒,什么都没留下…
展开
-
Spark环境搭建② standalone集群模式
集群规划 node01:master node02:slave/worker node03:slave/worker 上传并加压 修改配置文件 cd /export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/conf/ mv spark-env.sh.template spark-env.sh #配置java环境变量 export JAVA_...原创 2020-04-03 09:45:03 · 9453 阅读 · 12 评论 -
Saprk环境搭建① local模式下初体验
下载安装包 下载地址:http://spark.apache.org/downloads.html 上传并解压 tar zxvf spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz -C ../servers/ 解压目录说明: bin 可执行脚本 conf 配置文件 data 示例程序使用数据 examples ...原创 2020-04-03 08:55:39 · 9438 阅读 · 0 评论 -
快速入门Scala⑧ 对Set与Map操作
Set(集)是代表没有重复元素的集合 元素不重复 不保证插入顺序 不可变Set集 语法 创建一个空的不可变的集 var/val 变量名 = Set[类型]() 给定元素来创建一个不可变集 var/val 变量名 = Set(元素1,元素2,元素3....) 示例一 定义一个空的不可变集 参考代码 scala> var a=Set[Int]() a: scala.c...原创 2020-03-28 14:12:01 · 9436 阅读 · 0 评论 -
快速入门Scala⑦ 对元祖操作
元组 元组可以用来包含一组不同类型的值。 定义元组 使用括号来定义元组 var/val 元组 = (元组1,元素2,元素3...) 使用箭头来定义元组(元组只有两个元素) var/val 元组 = 元素1 -> 元素2 参考代码 scala> var a = ("zhangsan",12) a: (String, Int) = (zhangsan,12) sca...原创 2020-03-28 13:10:36 · 9558 阅读 · 29 评论 -
快速入门Scala⑥ 对List表操作
不可变列表 列表是scala中最重要的、也是最常用的数据结构 可以保存重复值 有先后顺序 在scala中,也有两种列表,一种是不可变列表、另一种是可变列表 定义 不可变列表就是列表的元素、长度都是可变的。 语法: var/val 变量名=List(元素1,元素2,元素3...) 使用Nil创建一个不可的空列表 var/val 变量名=Nil 使用::方法创建一个不可变的列表 var...原创 2020-03-27 23:30:25 · 9634 阅读 · 27 评论 -
快速入门Scala⑤ 对数组的操作
数组 Scala中,有两种数组,一种是定长数数组,另一种是变长数组 定长数组 ·定长数组指的是数组的长度不允许改变的 数据的元素是可以改的 语法: // 通过制定长度定义数组 var/val 变量名 = new Array[元素类型](数组长度) // 用元素直接初始化数组 var/val 变量名 = Array(元素1,元素2,元素3....) 参考代码: scala> ...原创 2020-03-27 18:41:46 · 9774 阅读 · 0 评论 -
快速入门Scala④ 方法与函数操作
定义语法: 默认参数、带名参数、变长参数 def methodName (参数名:参数类型, 参数名:参数类型) : [return type] = { // 方法体:一系列的代码} 参数列表的参数类型不能省略 返回值类型可以省略,有scala编译器自动推断 返回这可以不写return,默认就是{}快表达式的值 实例: 定义一个方法,实现两个整数值相加,返回相加后的结果 调用...原创 2020-03-26 23:32:58 · 9488 阅读 · 0 评论 -
快速入门Scala③ scala循环操作
for循环操作 scala> for (i <- 1 to 20){ println(i) } scala> var num=1.to(20) for (i <- num){ println(i) } 嵌套循环 scala> for(i <- 1 to 3 ; j<- 1 to 5){print("*"); if(j==5)println()...原创 2020-03-26 21:26:02 · 10142 阅读 · 43 评论 -
快速入门Scala② 快速入门基本语法
快速使用 scala> println("hello word") hello word 声明变量 scala> var text:String="hello scala" text: String = hello scala scala> val text2:String="hello scala" text2: String = hello scala val 定义...原创 2020-03-26 20:46:57 · 9425 阅读 · 0 评论 -
快速入门Scala① 介绍及开发环境安装
scala介绍 scala是运行在JVM上的多范式(多种编程方法)编程语言,同时支持面向对象和面向函数编程 早期,scala刚出现的时候,并没有怎么引起重视,随着Spark和Kafka这样基于scala的大数据框架的兴起,scala逐步进入大数据开发者的眼帘。 为什么使用scala 开发大数据应用程序(Spark程序、Flink程序) 表达能力强,一行代码抵得上Java多行,开发速度快...原创 2020-03-25 18:25:28 · 9534 阅读 · 0 评论