Scala
文章平均质量分 95
angeliacmm
快乐编码,快乐生活。
展开
-
第五章 Spark-SQL进阶(三)之SQL函数
第五章 Spark-SQL进阶(三)3.SQL函数3.1内置函数3.1.1数学函数*返回类型**姓名(签名)**描述*DOUBLEround(DOUBLE a)返回的舍入BIGINT值a。DOUBLEround(DOUBLE a, INT d)返回a四舍五入到d小数位。DOUBLEbround(DOUBLE a)返回a使用HALF_EVEN舍入模式的舍入后的BIGINT值(从Hive 1.3.0,2.0.0开始)。也称为高斯舍入或银行家舍入。例如:bro原创 2021-05-08 22:52:25 · 1063 阅读 · 0 评论 -
第五章 Spark-SQL进阶(二)之数据源
第五章 Spark-SQL进阶(二)2.数据源数据以各种不同的格式提供电子表格可以用 XML,CSV,TSV 表示应用程序指标可以用原始文本或 JSON 写出每个用例都有针对它定制的特定数据格式在大数据领域,我们通常会遇到 Parquet、ORC、Avro、JSON、CSV、SQL 和 NoSQL 数据源以及纯文本文件等格式。我们可以将这些数据格式大致分为三类:结构化、半结构化和非结构化数据。2.1结构化数据结构化数据源定义数据的模式。利用有关底层数据的额外信息,结构化数据源可提供原创 2021-05-08 22:50:56 · 165 阅读 · 0 评论 -
第四章 Spark-SQL基础(二)之Dataset优势
第四章 Spark-SQL基础(二)8.核心对象8.1SparkSessionSpark-SQL组件中的一个会话对象。SparkSession对象中构建SparkSession的核心源代码如下:@Stableobject SparkSession extends Logging { /** * Builder for [[SparkSession]]. */ @Stable class Builder extends Logging { private[thi原创 2021-05-08 22:46:57 · 163 阅读 · 0 评论 -
第四章 Spark-SQL基础(一)之Spark SQL优点
第四章 Spark-SQL基础(一)1.认识Spark-SQLSpark SQL是Spark中处理结构化数据的模块。提供了一种新的编程抽象DataFrame/Dataset,并且可以充当分布式SQL查询引擎。集成:无缝地将SQL查询集成到Spark程序中。统一数据访问:使用统一的方式连接到常见数据源。Hive兼容:通过配置可以直接兼容Hive,运行查询Hive数据。标准的连接:通过JDBC、ODBC连接。Spark SQL包括具有行业标准JDBC和ODBC连接的服务器模式。2.Spark原创 2021-05-08 22:34:39 · 1326 阅读 · 0 评论 -
Scala知识笔记1
Scala知识笔记11 认识Scala1.什么是Scala2.Scala是面向对象编程语言3.Scala是函数式编程语言4.Scala是静态类型的5.Scala是可扩展的6.Scala互操作2 Scala基础语法(一)1.变量 val/var1.1 val 不可变的1.2 声明与赋值同时定义2.方法 def2.1 格式:2.2 过程2.3 当方法为非递归方法时,可以将返回类型省略2.4 方法调用 ...原创 2019-03-01 16:40:02 · 609 阅读 · 0 评论 -
Scala中的函数式编程总结
函数式编程:函数式编程是种编程方式,它将电脑运算视为函数的计算。函数编程语言最重要的基础是λ演算(lambda calculus),而且λ演算的函数可以接受函数当作输入(参数)和输出(返回值)。和指令式编程相比,函数式编程强调函数的计算比指令的执行重要。和过程化编程相比,函数式编程里函数的计算可随时调用。简单说,“函数式编程"是一种"编程范式”(programming paradigm),...原创 2019-03-04 08:50:37 · 444 阅读 · 1 评论 -
Scala面向对象程序编程
Scala面向对象程序编程1 Scala类(重点)1.1类定义1.2 getter、setter1.3主构造器(primary constructor)1.4辅助构造器(auxiliary constructor)2 Scala对象(重点)2.1单例对象2.2伴生对象(重点)2.3样例类case class2.4扩展类或者特质的对象2.5 apply方法3 Scala继承(理解)3.1抽象类3.2...原创 2019-03-12 14:39:04 · 217 阅读 · 0 评论 -
Scala类型系统与隐式操作
Scala类型系统与隐式操作Scala类型系统(了解)1泛型(了解)1.1泛型类1.2泛型特质1.3泛型函数2类型系统(了解)2.1类型界定:2.1.1上下界2.1.2.视图界定2.1.3.多重界定2.2.类型约束2.3.型变Scala隐式转换(理解)1隐式转换(掌握)2利用隐式转化丰富现有类库的功能(掌握)3引入隐式转换(掌握)4隐式转换规则(掌握)5隐式参数(掌握)6利用隐式参数进行隐式转换(...原创 2019-03-12 14:58:12 · 246 阅读 · 0 评论