bigdata_Scala
乔治大哥
脚踏实地,仰望星空。
展开
-
解决scala_spark本地读取csv中文乱码问题
解决scala_spark本地读取csv中文乱码问题原创 2022-02-15 21:45:30 · 14721 阅读 · 0 评论 -
利剑无意之scala小考核
在scala中所有值类型的父类型是 A AnyRef B AnyVal C Object D object在scala中如果方法没有返回值,则需要使用哪个关键字 A Unit B Until C void D null关于元组Tuple说法错误的是? A元组的可以包含不同类型的元素 B元组是不可变的...原创 2019-11-21 20:11:19 · 1510 阅读 · 0 评论 -
彻底搞清楚map和flatmap
map & flatMap这两个函数经常被使用。它们有如下区别:map把数组流中的每一个值,使用所提供的函数执行一遍,一一对应。得到元素个数相同的数组流。flatMapflat是扁平的意思。它把数组流中的每一个值,使用所提供的函数执行一遍,一一对应。得到元素相同的数组流。只不过,里面的元素也是一个子数组流。把这些子数组合并成一个数组以后,元素个数大概率会和原数...原创 2019-11-13 21:56:09 · 7202 阅读 · 1 评论 -
重游scala04
Scala编程 课程大纲 课程内容 学习效果 掌握目标 Scala编程数据结构 Scala类、对象 掌握 熟练掌握类的定义,创建对象 熟练掌握继承和特质 熟练掌握样例类、模式匹配 ...原创 2019-11-13 21:07:26 · 182 阅读 · 0 评论 -
重游Scala03
##############################################/**在spark中map函数和flatMap函数是两个比较常用的函数。其中?map:对集合中每个元素进行操作, 将集合中的每一个元素映射到某一个函数。map将一个函数应用于列表的每一个元素并且将其作为一个新的列表返回flatMap:对集合中每个元素进行操作然后再扁平化。 flat即压扁,压平,扁...原创 2019-11-12 18:40:48 · 631 阅读 · 0 评论 -
重游Scala02
数组:package com.henu.georgeimport scala.collection.mutable.ArrayBuffer/** * George * 定长数组和变长数组 */object ArrayDemo { def main(args: Array[String]): Unit = { //初识化一个定长数组,其所有元素均为0 v...原创 2019-11-12 16:44:29 · 188 阅读 · 0 评论 -
重游Scala01
package com.henu.georgeobject VeriableDemo { def main(args: Array[String]): Unit = { val str = "George" println(str) println(s"My name is $str") printf("My name is %s",str); ...原创 2019-11-11 16:01:53 · 110 阅读 · 0 评论 -
Scala _01介绍&安装使用
Scala介绍1.Spark1.6中使用的是Scala2.10。Spark2.0版本以上使用是Scala2.11版本。 2.Scala官网6个特征。Java和scala可以混编 类型推测(自动推测类型) 并发和分布式(Actor) 特质,特征(类似java中interfaces 和 abstract结合) 模式匹配(类似java switch) 高阶函数Scala安装使用w...原创 2019-10-19 10:51:35 · 189 阅读 · 0 评论 -
Scala _02基础
Scala基础1、数据类型2、变量和常量的声明定义变量或者常量的时候,也可以写上返回的类型,一般省略,如:val a:Int = 10 常量不可再赋值package com.henu.scala/** * 定义变量和常量 * 变量 :用 var 定义 ,可修改 * 常量 :用 val 定义,不可修改 */object ScalaDemo01 {...原创 2019-10-17 16:40:41 · 246 阅读 · 0 评论 -
Scala _03方法与函数
1、Scala方法的定义有参方法 无参方法package com.henu.scala02object DefDemo01 { def main(args: Array[String]): Unit = { def fun(a :Int,b :Int): Unit = { println(a+b) } fun(10,20) ...原创 2019-10-17 19:46:38 · 273 阅读 · 0 评论 -
Scala _04Scala字符串
Scala字符串String StringBuilder 可变 string操作方法举例比较:equals 比较忽略大小写:equalsIgnoreCase indexOf:如果字符串中有传入的assci码对应的值,返回下标package com.henu.scala03Stringobject ScalaDemo { def main(args: Array[S...原创 2019-10-17 20:39:30 · 173 阅读 · 0 评论 -
Scala _05集合_数组(一)
集合数组创建数组new Array[Int](10)赋值:arr(0) = xxx 2.Array[String](“s1”,”s2”,”s3”)数组遍历for foreach创建一维数组和二维数组 数组中方法举例Array.concate:合并数组 Array.fill(5)(“bjsxt”):创建初始值的定长数组数组的创建和遍历package c...原创 2019-10-18 11:20:06 · 219 阅读 · 0 评论 -
Scala _06集合_数组(二)
set创建set注意:set集合会自动去重set遍历foreach,forset方法举例交集:intersect ,& 差集: diff ,&~ 子集:subsetOf 最大:max 最小:min 转成数组,toList 转成字符串:mkString(“~”)set方法总结package com.henu.scala06Setobject S...原创 2019-10-18 15:12:07 · 213 阅读 · 0 评论 -
Scala _07trait特性
trait 特性概念理解Scala Trait(特征) 相当于 Java 的接口,实际上它比接口还功能强大。 与接口不同的是,它还可以定义属性和方法的实现。 一般情况下Scala的类可以继承多个Trait,从结果来看就是实现了多重继承。Trait(特征) 定义的方式与类类似,但它使用的关键字是 trait。举例:trait中带属性带方法实现注意:继承的多个trait中如果有同名的...原创 2019-10-18 15:37:40 · 194 阅读 · 0 评论 -
Scala _08模式匹配match&偏函数
模式匹配match概念理解:Scala 提供了强大的模式匹配机制,应用也非常广泛。 一个模式匹配包含了一系列备选项,每个都开始于关键字 case。 每个备选项都包含了一个模式及一到多个表达式。箭头符号 => 隔开了模式和表达式。代码及注意点模式匹配不仅可以匹配值还可以匹配类型 从上到下顺序匹配,如果匹配到则不再往下匹配 都匹配不上时,会匹配到case _ ,相当于defau...原创 2019-10-18 17:12:06 · 302 阅读 · 0 评论 -
Scala _09样例类(case classes)&隐式转换
样例类(case classes)概念理解使用了case关键字的类定义就是样例类(case classes),样例类是种特殊的类。实现了类构造参数的getter方法(构造参数默认被声明为val),当构造参数是声明为var类型的,它将帮你实现setter和getter方法。样例类默认帮你实现了toString,equals,copy和hashCode等方法。 样例类可以new, 也可以不...原创 2019-10-19 09:58:13 · 548 阅读 · 0 评论 -
Scala _10Actor Model
概念理解Actor Model是用来编写并行计算或分布式系统的高层次抽象(类似java中的Thread)让程序员不必为多线程模式下共享锁而烦恼,被用在Erlang 语言上, 高可用性99.9999999 % 一年只有31ms 宕机Actors将状态和行为封装在一个轻量的进程/线程中,但是不和其他Actors分享状态,每个Actors有自己的世界观,当需要和其他Actors交互时,通过发送事件和消...原创 2019-10-19 10:16:22 · 172 阅读 · 0 评论 -
Scala _11SparkWordCount&scala语言&java语言
创建Maven项目pom.xml文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi...原创 2019-10-19 16:10:57 · 284 阅读 · 0 评论