Scala
文章平均质量分 53
Scala学习笔记
喜欢coding的谢同学
2020年网易实习
2021年字节跳动校招
小Red书同名,一起努力学习吧~
展开
-
使用Scala读取Parquet文件(Parquet4s的初次使用)
文章目录前言Local File专用通用HDFS File前言之前介绍过的Eel可以读取Hive表,也能读取Parquet文件,但是Eel的ParquetySource并不支持读Parquet目录。下面要介绍的这个项目Parquet4s支持读取Parquet目录,还能和Akka进行集成。Eel适合读Csv、Orc多种格式的场景,单论Parquet还是Parquet4s更专业libraryDependencies += “com.github.mjakubowski84” %% “parquet4原创 2021-10-23 16:30:17 · 1317 阅读 · 0 评论 -
使用Scala编写Akka的HelloWrold示例
进程内通信先使用一个进程来看一下Akka的基本使用import akka.actor.{Actor, ActorRef, ActorSystem, Props}object HelloWorld extends App { // 创建一个Actor系统 val system = ActorSystem("HelloWorld") // 根据class,创建一个Actor val outputActor = system.actorOf(Props[OutputActor], name原创 2021-10-10 17:39:46 · 141 阅读 · 0 评论 -
Eel初次使用示例(使用Scala读取Hive表)
文章目录前言示例LocalCSV FileHiveParquetORC前言最近项目需要用Scala读取Hive的Table,但是Spark和Hive的API比较重量级,性能不够。于是调研,发现了一个更加底层的框架Eel:示例为了便于理解,先从读取简单的CSV开始LocalCSV File我自己新建了一个CSV文件school_number,student_name1,Bernoulli2,Newton3,Leibnizsbt导入依赖libraryDependencies += "原创 2021-10-03 17:12:18 · 715 阅读 · 0 评论 -
Scala集合最值算子使用示例
下面主要演示了scala集合中minBy、maxBy的使用import org.joda.time.format.DateTimeFormatobject Test { def main(args: Array[String]): Unit = { //正常的数组最值 val arr = Array(1,2,3) println(arr.min) print...原创 2019-08-18 09:31:17 · 726 阅读 · 0 评论 -
Scala学习笔记-流程控制
条件结构def main(args: Array[String]): Unit = { var i = 0 //导致其非纯函数 val result = while(i<10){ println(i) i+=2 } println(result) //返回结果为空 // 在函数式编程中,不推荐使用while 和do whi...原创 2019-07-25 19:13:18 · 149 阅读 · 0 评论 -
Scala学习笔记-快速了解基础语法
文章目录基础语法标识符常用类型AnyAnyValAnyRefNothing算术操作符重载重载例子与方法的一些对比调用函数和方法基础语法标识符scala源码object ScalaLabel { def main(args: Array[String]): Unit = { //遵循java字母、数字、下划线,不能以数字开头 //scala标识符可以为字符 val...原创 2019-07-25 15:06:28 · 288 阅读 · 0 评论 -
Scala学习笔记-初识函数式编程
文章目录前言函数声明scala源码反编译后的java代码变量声明scala源码反编译后的ava代码函数引用scala源码反编译后的ava代码前言本文记录了初学Scala代码笔记以及反编译的java代码以供加深对scala代码运行过程的理解。函数声明scala源码object ScalaFunction1 { def main(args:Array[String]):Unit={ ...原创 2019-07-25 10:30:44 · 315 阅读 · 0 评论