scala
看见我的小熊没
这个作者很懒,什么都没留下…
展开
-
SparkStreaming业务逻辑处理的一些高级算子
1、reduceByKey reduceByKey 是按key进行计算,操作的数据是每个批次内的数据(一个采集周期),不能跨批次计算。如果需要实现对历史数据的跨批次统计累加,则需要使用updateStateByKey算子或者mapWithState算子。package com.sparkscala.streamingimport org.apache.log4j.{Level, Logger}import org.apache.spark.streaming.dstream.{DStream,原创 2022-02-15 22:18:56 · 1008 阅读 · 1 评论 -
Spark Streaming 常见的输入数据源(以WordCount计算为例)
SparkStreaming中的数据抽象叫做DStream。DStream是抽象类,它把连续的数据流拆成很多的小RDD数据块, 这叫做“微批次”, spark的流式处理, 都是“微批次处理”。 DStream内部实现上有批次处理时间间隔,滑动窗口等机制来保证每个微批次的时间间隔里, 数据流以RDD的形式发送给spark做进一步处理。因此, 在一个为批次的处理时间间隔里, DStream只产生一个RDD。...原创 2022-02-15 21:29:07 · 1694 阅读 · 0 评论 -
SparkStreaming输出算子foreachRDD介绍
SparkStreaming中的数据抽象叫做DStream。DStream是抽象类,它把连续的数据流拆成很多的小RDD数据块, 这叫做“微批次”, spark的流式处理, 都是“微批次处理”。 DStream内部实现上有批次处理时间间隔,滑动窗口等机制来保证每个微批次的时间间隔里, 数据流以RDD的形式发送给spark做进一步处理。因此, 在一个为批次的处理时间间隔里, DStream只产生一个RDD。foreachRDD、foreachPartition和foreach 的区别:首先是作用范围不原创 2022-02-15 19:23:14 · 1647 阅读 · 0 评论 -
Scala快速入门(适用于学习Spark)
Scala介绍Scala是一种针对JVM 将面向函数和面向对象技术组合在一起的编程语言。Scala编程语言近来抓住了很多开发者的眼球。它看起来像是一种纯粹的面向对象编程语言,而又无缝地结合了命令式和函数式的编程风格。Scala融汇了许多前所未有的特性,让开发者能够很好的而同时又运行于JVM之上。随着大数据的日益发展,scala必定会成为必不可少的开发语言。转载 2022-02-09 20:13:21 · 6394 阅读 · 0 评论 -
Scala中Map方法
Scala Map 常用的方法:1 def ++(xs: Map[(A, B)]): Map[A, B]返回一个新的 Map,新的 Map xs 组成2 def -(elem1: A, elem2: A, elems: A*): Map[A, B]返回一个新的 Map, 移除 key 为 elem1, elem2 或其他 elems。3 def --(xs: GTO[A]): Map[A, B]返回一个新的 Map, 移除 xs 对象中对应的 key4 def get(key: A.转载 2022-02-09 20:10:56 · 1938 阅读 · 0 评论 -
Scala中Set方法
Scala Set 常用方法:1 def +(elem: A): Set[A]为集合添加新元素,x并创建一个新的集合,除非元素已存在2 def -(elem: A): Set[A]移除集合中的元素,并创建一个新的集合3 def contains(elem: A): Boolean如果元素在集合中存在,返回 true,否则返回 false。4 def &(that: Set[A]): Set[A]返回两个集合的交集5 def &~(that: Set[A]): .转载 2022-02-09 20:08:38 · 1307 阅读 · 0 评论 -
Scala中List方法
List方法总结:1 def +(elem: A): List[A] 前置一个元素列表2 def ::(x: A): List[A] 在这个列表的开头添加的元素。3 def :::(prefix: List[A]): List[A] 增加了一个给定列表中该列表前面的元素。4 def ::(x: A): List[A] 增加了一个元素x在列表的开头5 def addString(b: StringBuilder): StringBuilder 追加列表的一.转载 2022-02-09 20:06:16 · 350 阅读 · 0 评论 -
Scala中数组Array方法
Array 数组方法和描述1 def apply( x: T, xs: T* ): Array[T]创建指定对象 T 的数组, T 的值可以是 Unit, Double, Float, Long, Int, Char, Short, Byte, Boolean。2 def concat[T]( xss: Array[T]* ): Array[T]合并数组3 def copy( src: AnyRef, srcPos: Int, dest: AnyRef, destPos: Int, len.转载 2022-02-09 20:01:57 · 411 阅读 · 0 评论 -
Scala中String方法
String 方法 char charAt(int index)返回指定位置的字符 从0开始 int compareTo(Object o)比较字符串与对象 int compareTo(String anotherString)按字典顺序比较两个字符串 int compareToIgnoreCase(String str)按字典顺序比较两个字符串,不考虑大小写 String concat(String str)将指定字符串连接到此字符串的结尾 boolean conte.转载 2022-02-09 19:57:25 · 495 阅读 · 0 评论 -
Scala的安装使用
Scala介绍Scala是一种针对JVM 将面向函数和面向对象技术组合在一起的编程语言。Scala编程语言近来抓住了很多开发者的眼球。它看起来像是一种纯粹的面向对象编程语言,而又无缝地结合了命令式和函数式的编程风格。Scala融汇了许多前所未有的特性,让开发者能够很好的而同时又运行于JVM之上。随着大数据的日益发展,scala必定会成为必不可少的开发语言。Spark1.6中使用的是Scala2.10版本;Spark2.0版本以上使用是Scala2.11版本。Scala官网6个特征:1).转载 2022-02-09 15:45:59 · 450 阅读 · 0 评论