spark
文章平均质量分 87
lesileqin
桃花影落飞神剑,碧海潮声按玉箫
展开
-
Spark 快速上手 | WordCount的三种实现方式
文章目录一、搭建开发环境二、体验WordCount1)2)3)三、配置log4j一、搭建开发环境二、体验WordCount1)2)3)三、配置log4j原创 2021-04-14 14:01:50 · 513 阅读 · 0 评论 -
Spark 概述 | Spark 与 Hadoop的区别
文章目录一、Spark是什么二、Spark的核心模块二、Spark VS Hadoop一、Spark是什么Spark是一个基于内存的快速、通用、可扩展的大数据分析计算引擎二、Spark的核心模块如下图所示,Spark共有以下几个模块:Spark Core:提供了Spark最基础与最核心的功能,Spark其他的功能如:Spark SQL,Spark Streaming,GraphX,MLlib都是在Spark Core的基础上进行扩展的Spark SQL:是用来操作结构化数据的组件。通过S原创 2021-04-13 13:23:11 · 541 阅读 · 1 评论 -
scala 学习笔记(下) | 类和对象、特质
一、类和对象scala是支持面向对象的,也有类和对象的概念,依然可以基于scala语言来开发面向对象的应用程序1、创建类和对象使用class定义一个类使用new来创建对象示例:创建一个Person类,并创建它的对象步骤:在idea中创建一个Scala项目,并创建一个Object添加main方法创建类和对象package com.wzq.scala.oopobject _01ClassObject { class Person { } def main(ar原创 2021-04-11 15:40:46 · 240 阅读 · 4 评论 -
scala 学习笔记(中) | 函数式编程
五、函数式编程使用Spark/Flink的大量业务代码都会使用到函数式编程,都有下面这些操作:遍历(foreach)映射(map)映射扁平化(flatmap)过滤(filter)是否存在(exists)排序(sorted、sortBy、sortWith)分组(groupBy)聚合计算(reduce)折叠(fold)1、遍历 | foreach之前学习过了使用for表达式来遍历集合,使用foreach方法进行遍历、迭代,可以让代码更加简介foreach(f: (A) =>原创 2021-04-10 16:54:28 · 259 阅读 · 2 评论 -
scala 学习笔记(上)| 开发环境安装 | 循环判断 | 数据类型
文章目录一、开发环境安装1、安装JDK2、安装Scala SDK3、安装IDEA Scala插件二、变量1、基本定义2、自动推断3、惰性赋值三、字符串四、数据类型与操作符1、数据类型2、运算符3、scala类型层次结构五、条件表达式1、有返回值的IF2、块表达式六、循环1、for表达式1)简单循环2)嵌套循环3)守卫4)for推导式2、while循环3、break和continue1)实现break2)实现continue七、方法1、定义方法2、返回值类型推断3、方法参数1)默认参数2)带名参数3)变长参数原创 2021-04-09 18:10:10 · 130 阅读 · 2 评论