Scala
文章平均质量分 62
*Snowgrass*
主要记录一些技术知识点,并转载一些好技术文章,仅作为学习笔记。若内容有欠缺、不恰当处,欢迎指正。
展开
-
IDEA-创建Scala项目
1.创建Scala项目2.设置相应信息原创 2021-10-19 11:38:02 · 225 阅读 · 1 评论 -
Spark 读写CSV常用配置-实例
Spark 2.0 之前,Spark SQL 读写 CSV 格式文件,需要 Databricks 官方提供的 spark-csv 库。在 Spark 2.0 之后,Spark SQL 原生支持读写 CSV 格式文件。测试带标题的文件如下: id|name|age 1| darren |18 2|anne|18 3|"test"|18 4|'test2'|18 package com.darren.spark.sql.csv impor.转载 2020-10-10 11:22:59 · 1129 阅读 · 1 评论 -
Spark 读取CSV文件,option参数
Spark读取CSV文件详解如题,有一个spark读取csv的需求,这会涉及到很多参数。通过对源码(spark version 2.4.5(DataFrameReader.scala:535 line))的阅读,现在我总结在这里:spark读取csv的代码如下 val dataFrame: DataFrame = spark.read.format("csv") .option("header", "true") .option("encoding", "gbk23转载 2020-10-10 11:20:10 · 3284 阅读 · 2 评论 -
Scala:Array(集合、序列)
数组是一种可变的、可索引的数据集合。在Scala中用Array[T]的形式来表示Java中的数组形式 T[]。 val numbers = Array(1, 2, 3, 4) //声明一个数组对象 val first = numbers(0) // 读取第一个元素 numbers(3) = 100 // 替换第四个元素为100 val biggerNumbers = numbers.map(_ * 2) // 所有元素乘2 Scala提供...转载 2020-10-10 11:00:30 · 294 阅读 · 0 评论 -
classOf/isInstanceOf/asInstanceOf
classOf、isInstanceOf、asInstanceOf区别 (1)classOf[T]: 获取类型T的Class对象 (2)isInstanceOf[T]: 判断对象是否为T类型的实例。 (3)asInstanceOf[T]: 强制类型转换原创 2020-10-10 10:37:30 · 387 阅读 · 0 评论 -
.toint
Scala : How do I convert aStringtoIntin Scala?Solution: Use ‘toInt’If you need to convert aStringto anIntinScala, just use thetoIntmethod, which is available onStringobjects, like this:scala> val i = "1".toInti: Int = 1As you can...转载 2020-10-10 10:37:41 · 831 阅读 · 0 评论 -
structField、structType、schame
1、structField源码结构: case class StructField( name: String, dataType: DataType, nullable: Boolean = true, metadata: Metadata = Metadata.empty) {} -----A field inside a StructTypename:The name of this field.dataType:The data type .转载 2020-10-10 09:39:16 · 2617 阅读 · 0 评论 -
scala-基础
scala-变量、常量1.变量在程序运行过程中其值可能发生改变的量叫做变量(关键词"var"声明变量,可修改)。2.常量在程序运行过程中其值不会发生变化的量叫做常量(关键词"val"声明常量,不可修改)。示例:var myVar1 : String = "Jim"var myVar1 : String = "Jason"var myVal1 : String = "Jim"注:变量的类型在变量名之后等号之前声明。scala-内置运算符1.算术运算符假定变...原创 2020-10-10 10:07:03 · 221 阅读 · 0 评论