![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Scala
大大怪啊
这个作者很懒,什么都没留下…
展开
-
Hive分区分桶的区别
https://blog.csdn.net/qq_42246689/article/details/84671926原创 2019-10-20 11:00:50 · 267 阅读 · 0 评论 -
Hdfs读写机制
https://blog.csdn.net/wzhwei1987/article/details/83066110原创 2019-10-20 11:00:04 · 172 阅读 · 0 评论 -
Flink中WaterMark
https://blog.csdn.net/hlp4207/article/details/90698296原创 2019-10-20 10:57:39 · 159 阅读 · 0 评论 -
Spark入门必看
什么是Spark(官网:http://spark.apache.org)Spark是一种快速、通用、可扩展的大数据分析引擎,2009年诞生于加州大学伯克利分校AMPLab,2010年开源,2013年6月成为Apache孵化项目,2014年2月成为Apache顶级项目。目前,Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含SparkSQL、Spark Streaming、Grap...转载 2019-07-15 21:29:12 · 201 阅读 · 0 评论 -
SparkRDD算子详解(超详细)
mapmap是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。举例://设置spark的配置文件信息val sparkConf: SparkConf = new SparkConf().setAppName(“WordCount”).setMaster(“local”)//构建sparkcontext上下文对...原创 2019-07-12 10:43:15 · 578 阅读 · 0 评论 -
Spark计算模型RDD(超详细)
二、 弹性分布式数据集RDD2. RDD概述2.1 什么是RDDRDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点:自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将数据缓存在内存中,后续的查询能够重用这些数据,这极...转载 2019-07-16 21:20:05 · 1151 阅读 · 0 评论 -
RDD操作(超详细)
1、RDD操作详解1.1 基本转换mapmap是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。举例://设置spark的配置文件信息val sparkConf: SparkConf = new SparkConf().setAppName(“WordCount”).setMaster(“local”)/...转载 2019-07-16 21:22:17 · 7343 阅读 · 0 评论 -
SparkRDDApi(超详细)
mapmap是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。举例://设置spark的配置文件信息val sparkConf: SparkConf = new SparkConf().setAppName(“WordCount”).setMaster(“local”)//构建sparkcontext上下文对...转载 2019-07-22 19:30:11 · 734 阅读 · 0 评论 -
PvUv具体操作
一、 通过spark实现点击流日志分析案例1. 访问的pvpackage cn.bwimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object PV {def main(args: Array[String]): Unit = {//todo:创建sparkconf,设置...转载 2019-07-22 19:42:12 · 1550 阅读 · 0 评论 -
SparSql(详细)
1. Spark SQL概述1.1. Spark SQL的前世今生Shark是一个为Spark设计的大规模数据仓库系统,它与Hive兼容。Shark建立在Hive的代码基础上,并通过将Hive的部分物理执行计划交换出来。这个方法使得Shark的用户可以加速Hive的查询,但是Shark继承了Hive的大且复杂的代码使得Shark很难优化和维护,同时Shark依赖于Spark的版本。随着我们遇到...转载 2019-07-22 20:04:21 · 3158 阅读 · 1 评论 -
Spark Streaming
Spark Streaming流式处理Spark Streaming介绍1.1 Spark Streaming概述1.1.1什么是Spark StreamingSpark Streaming类似于Apache Storm,用于流式数据的处理。根据其官方文档介绍,Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多,例如:Kafk...转载 2019-07-22 20:26:00 · 307 阅读 · 0 评论 -
flink结合hdfs
pom文件<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> </d...原创 2019-08-23 17:04:26 · 1591 阅读 · 0 评论 -
Bucketing设置时间
val sink = new BucketingSinkStringsink.setBucketer(new DateTimeBucketer[String](“yyyy-MM-dd–HHmm”, ZoneId.of(“America/Los_Angeles”)))sink.setWriter(new SequenceFileWriterIntWritable, Text)sink.setB...原创 2019-08-27 10:59:04 · 397 阅读 · 0 评论 -
Scala基础
Scala编程语言抓住了很多开发者的眼球。如果你粗略浏览Scala的网站,你会觉得Scala是一种纯粹的面向对象编程语言,而又无缝地结合了命令式编程和函数式编程风格。Christopher Diggins认为:不太久之前编程语言还可以毫无疑意地归类成“命令式”或者“函数式”或者“面向对象”。Scala代表了一个新的语言品种,它抹平了这些人为划分的界限。根据David Rupp在博客中的说法,...转载 2019-07-05 19:25:30 · 200 阅读 · 0 评论 -
Scala集合三大类
Scala集合可以分为三大类原创 2019-07-14 21:31:12 · 791 阅读 · 0 评论 -
Scala入门
1.为什么要学习scala?2.scala的介绍3.与java语言的对比4.编译工具的安装5.main方法讲解6.常量和变量7.数据类型8.懒加载9.差值器1.为什么要学习scala?(1)spark底层是用scala来 ,要想学好spark 我们就必须会scala这门语言(2)scala语言有自己的有事无论是在变成的效率还是执行速度离线计算 -->在线计算...转载 2019-07-09 20:29:03 · 192 阅读 · 0 评论 -
Scala之(判断循环及元组)
数组的知识点的讲解,包括数组的遍历输出,数组的常用的函数等等。If判断知识点的讲解,包括三目运算符的讲解,以及CASE模式匹配的简单引入。For 循环中的遍历以及与breakable的完美结合,去展示相当于java中的continue与break 的 实现。Do while 与 while的区别于对比及知识点的讲解.(1)判断语句在Scala中,所有的值都有类型,包括数值和函数。①...转载 2019-07-09 20:33:15 · 811 阅读 · 0 评论 -
Scala(值隐式转换、强制类型转换、数组、元组、集合、循环、判断大合集)
0.值类型隐式转换1.强制类型装换2.值类型和字符串类型的转换3.判断语句4.循环语句5.循环跳出语句6.元祖的介绍和使用7.数组的介绍和使用8.集合的介绍和使用0.隐式转换(高阶隐式转换和隐式函数,这里我们先不讲)当scala程序在进行赋值或者运算的时候,精度小的类型自动转换为精度大的类型,这个就是自动类型转换(隐式转换)//char -> Intvar a: ...转载 2019-07-09 20:37:10 · 1778 阅读 · 0 评论 -
Scala集合、数组、元组的使用
概述:该单元为scala中数组、元组、集合等操作的单元,包括数组、元组、集合的定义、添加、删除、修改、以及常用函数操作等重点。(1)变长数组ArrayBuffer在Sacla中,如果需要类似于JAVA中的ArrayList这种可变长度的集合类,则可以使用ArrayBuffer。① 语法//定义方式一var 变量名 = ArrayBuffer数据类型//定义方式二var 变量名 = A...转载 2019-07-09 20:39:03 · 1577 阅读 · 0 评论 -
Scala中break和continue用法
breakable在循环体外是break,在循环体内是continueimport scala.util.control.Breaksobject TestDemo02 {def main(args: Array[String]): Unit = {// 定义一个数组array,数组元素有(1,4,2,7,9,10)val array:Array[Int] = Array(1, 4...原创 2019-07-09 20:43:31 · 783 阅读 · 0 评论 -
Scala高级特性
高阶函数1.1. 概念Scala混合了面向对象和函数式的特性,我们通常将可以作为参数传递到方法中的表达式叫做函数。在函数式编程语言中,函数是“头等公民”,把函数最为参数或者是返回值是函数的函数叫高阶函数高阶函数包含:作为值的函数、匿名函数、闭包、柯里化等等。1.2. 作为值的函数可以像任何其他数据类型一样被传递和操作的函数,每当你想要给算法传入具体动作时这个特性就会变得非常有用。...转载 2019-07-09 20:45:01 · 334 阅读 · 0 评论 -
Scala之String方法(超详细)
char charAt(int index)返回指定位置的字符 从0开始int compareTo(Object o)比较字符串与对象int compareTo(String anotherString)按字典顺序比较两个字符串int compareToIgnoreCase(String str)按字典顺序比较两个字符串,不考虑大小写String concat(String st...转载 2019-07-09 20:47:42 · 5245 阅读 · 0 评论 -
Scala之数组方法(超详细)
1 def apply( x: T, xs: T* ): Array[T]创建指定对象 T 的数组, T 的值可以是 Unit, Double, Float, Long, Int, Char, Short, Byte, Boolean。2 def concat[T]( xss: Array[T]* ): Array[T]合并数组3 def copy( src: AnyRef, src...转载 2019-07-09 20:48:34 · 3157 阅读 · 1 评论 -
Scala之List方法(超详细)
1 def +(elem: A): List[A]前置一个元素列表2 def ::(x: A): List[A]在这个列表的开头添加的元素。3 def :::(prefix: List[A]): List[A]增加了一个给定列表中该列表前面的元素。4 def ::(x: A): List[A]增加了一个元素x在列表的开头5 def addString(b: StringBuilde...转载 2019-07-09 20:49:21 · 5887 阅读 · 0 评论 -
Scala之Map方法(超详细)
1 def ++(xs: Map[(A, B)]): Map[A, B]返回一个新的 Map,新的 Map xs 组成2 def -(elem1: A, elem2: A, elems: A*): Map[A, B]返回一个新的 Map, 移除 key 为 elem1, elem2 或其他 elems。3 def --(xs: GTO[A]): Map[A, B]返回一个新的 Ma...转载 2019-07-10 07:37:58 · 11577 阅读 · 0 评论 -
Scala之set方法(超详细)
1 def +(elem: A): Set[A]为集合添加新元素,x并创建一个新的集合,除非元素已存在2 def -(elem: A): Set[A]移除集合中的元素,并创建一个新的集合3 def contains(elem: A): Boolean如果元素在集合中存在,返回 true,否则返回 false。4 def &(that: Set[A]): Set[A]返...转载 2019-07-10 07:38:11 · 2420 阅读 · 1 评论 -
Scala(类、方法、对象、继承,tarit)超详细介绍
类、方法、对象、继承、特质Scala的类与Java、C++的类比起来更简洁,学完之后你会更爱Scala!!!1.1. 类1.1.1. 类的定义package cn.bw.class_demo/**在Scala中,类并不用声明为public类型的。Scala源文件中可以包含多个类,所有这些类都具有共有可见性。*/class Person {//用val修饰的变量是...转载 2019-07-10 07:37:45 · 1278 阅读 · 0 评论 -
Scala入门必看
Scala初识概述:作为scala入门的第一个单元重点掌握开发scala的工具的配置,以及环境的代表,本单元包括以下几个重点内容,main方法的讲解、方法和函数的区别、变量和常量的定义、懒加载的机制以及其应用、插值器的应用等重点。(1)数据类型在Scala中,所有的值都有类型,包括数值 和函数。① 图示② 描述Any是所有类型的超类型,也称为顶级类型。Any有两个直接子类:AnyV...转载 2019-07-09 20:26:34 · 233 阅读 · 0 评论