Scala学习——资源整理

最新推荐文章于 2024-07-10 17:19:01 发布
最新推荐文章于 2024-07-10 17:19:01 发布
阅读量546 收藏 1
点赞数
分类专栏： 编程语言 Scala 文章标签： scala 编程语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/q412774506/article/details/47109585
版权

模式匹配

话说模式匹配(1) 什么是模式？http://hongjiang.info/scala-pattern-matching-1/
话说模式匹配(2) scala里是怎么实现的? http://hongjiang.info/scala-pattern-matching-2/
话说模式匹配(3) 模式匹配的核心功能是解构！http://hongjiang.info/scala-pattern-matching-3/
话说模式匹配(4) 赋值语句与模式匹配 http://hongjiang.info/scala-pattern-matching-4/
话说模式匹配(5) for表达式中的模式匹配 http://hongjiang.info/scala-pattern-matching-5/
话说模式匹配(6) case类的细节 http://hongjiang.info/scala-pattern-matching-6/
话说模式匹配(7) 一个构造器模式的例子(by case class) http://hongjiang.info/scala-pattern-matching-7/
话说模式匹配(8) 一个抽取器的例子 http://hongjiang.info/scala-pattern-matching-8/

类型相关
scala类型系统：1) 类型与类 http://hongjiang.info/scala-type-and-class/
scala类型系统：2) classOf与getClass方法的差异 http://hongjiang.info/scala-type-system-classof-and-getclass/
scala类型系统：3) 单例类型 http://hongjiang.info/scala-type-system-singleton-type/
scala类型系统：4) 内部类，路径依赖类型&类型投影 http://hongjiang.info/scala-type-system-inner-type-and-type-projection/
scala类型系统：5) 结构类型 http://hongjiang.info/scala-type-system-structural-type/
scala类型系统：6) 复合类型与with关键字 http://hongjiang.info/scala-type-system-compund-type/
scala类型系统：7) 中缀类型 http://hongjiang.info/scala-type-system-infix-type/
scala类型系统：8) type关键字 http://hongjiang.info/scala-type-system-type-keyword/
scala类型系统：9) this别名&自身类型 http://hongjiang.info/scala-type-system-self-type/
scala类型系统：10) 交集类型与联合类型 http://hongjiang.info/scala-intersection-type-and-union-type/
scala类型系统：11) upper bounds & lower bounds http://hongjiang.info/scala-upper-bounds-and-lower-bounds/
scala类型系统：12) view bounds http://hongjiang.info/scala-type-system-view-bounds/
scala类型系统：13) context bounds http://hongjiang.info/scala-type-system-context-bounds/
scala类型系统：14) multiple bounds http://hongjiang.info/scala-type-system-multiple-bounds/
scala类型系统：15) 协变与逆变 http://hongjiang.info/scala-covariance-and-contravariance/
scala类型系统：16) 函数类型 http://hongjiang.info/scala-function-type/
scala类型系统：17) 结构类型的细节问题 http://hongjiang.info/scala-structural-type-detail/
scala类型系统：18) 不稳定(volatile)类型 http://hongjiang.info/scala-type-system-volatile-type/
scala类型系统：19) Manifest与TypeTag http://hongjiang.info/scala-type-system-manifest-vs-typetag/

最低0.47元/天 解锁文章
layne_liang
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Scala入门到精通——第二十节 类型参数（二）
摇摆少年梦的技术博客
08-08 1万+
本节主要内容 上下文界定（Context Bound） 多重界定 类型约束 型变 1. 上下文界定在第十七节中的类型参数（一）中，我们提到视图界定可以跨越类继承层次结构，其后面的原理是隐式转换。本节要介绍的上下文界定采用隐式值来实现，上下文界定的类型参数形式为T：M的形式，其中M是一个泛型，这种形式要求存在一个M[T]类型的隐式值：case class Person(val name:String)
scala类型系统 type关键字
weixin_34077371的博客
06-18 390
和c里的type有点像。 scala里的类型，除了在定义class,trait,object时会产生类型，还可以通过type关键字来声明类型。 type相当于声明一个类型别名： scala> type S = String defined type alias S http://hongjiang.info/scala-type-system-type-keyword/ 转载于:h...
Scala 简介 优点 及 用途
weixin_34301132的博客
09-06 719
介绍： Scala 是一种有趣的语言。它一方面吸收继承了多种语言中的优秀特性，一方面又没有抛弃 Java 这个强大的平台，它运行在 Java 虚拟机 (Java Virtual Machine) 之上，轻松实现和丰富的 Java 类库互联互通。它既支持面向对象的编程方式，又支持函数式编程。它写出的程序像动态语言一样简洁，但事实上它确是严格意义上的静...
scala 资料集结
dianxunma2886的博客
01-16 64
Scala入门到精通 http://lib.csdn.net/base/scala/structure http://hongjiang.info/scala/ http://blog.csdn.net/lovehuangjiaju/article/details/47612699 http://www.scala-lang.org/old/node/104....
为何Spark选择了Scala
chenbinkria的博客
08-05 7428
初学Scala，给我的感觉就是一堆语法糖以及最近名声大噪的函数式编程。 可是λ表达式Java也有，map / reduce java也有，速度上java也会比scala快，心想一定是自己见识不够，无法领悟。今看一文章，有所感悟：《为什么选择Scala,他在大数据处理方面有何优势》 在这篇文章中有几个核心观点用于支持spark选择scala的原因： 观点1：应用开发的效率很大程度上依靠类库。框...
大数据Hadoop之——Scala基础
匠人精神，持之以恒！
03-18 4301
文章目录一、概述二、Scala发展历史三、 Scala 和 Java 关系四、Scala 环境搭建 一、概述 Scala是一门多范式的编程语言，一种类似java的编程语言 ，设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。Spark就是使用Scala编写的。因此为了更好的学习Spark, 需要掌握Scala这门语言，当然Spark的兴起，也带动Scala语言的发展！官方文档：https://www.scala-lang.org/ 二、Scala发展历史 联邦理工学院的马丁·奥德
大数据—— Scala 知识点整理_def addx = add(1, int, int)(1)
2401_84140332的博客
05-01 781
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。//功能：如果数组类型为Int类型则求和，否则输出字符串，以空格为间隔符。
大数据—— Scala 知识点整理_def addx = add(1, int, int)
2401_84140332的博客
05-01 15
Scala中的模式匹配类似于Java中的switch语法，但是更加强大。模式匹配语法中，采用match关键字声明，每个分支采用case关键字进行声明，当需要匹配时，会从第一个case分支开始，如果匹配成功，那么执行对应的逻辑代码，如果匹配不成功，继续执行下一个分支进行判断。Scala 的模式匹配包括了一系列的备选项，每个替代项以关键字大小写为单位，每个替代方案包括一个模式或多个表达式，如果匹配将进行计算，箭头符号 => 将模式与表达式分离。，并且返回接受余下的参数且返回结果的新函数的技术。
scala学习手册.zip
04-23
Scala也是一种函数式语言，其函数也能当成值来使用。Scala提供了轻量级的语法用以定义匿名函数，支持高阶函数，允许嵌套多层函数，并支持柯里化 。Scala的Case Class及其内置的模式匹配相当于函数式编程语言中常用的...
scala学习笔记整理
05-09
在"scala学习笔记整理"中，我们可以深入探讨以下关键知识点： 1. **基础语法**：Scala的基础语法与Java有相似之处，但也有很多独特的特点。例如，它支持变量的不可变性（immutability），使用`val`声明常量，`var`...
Scala学习笔记1——从文件读取文本行
01-07
刚接触Scala，所以并不是很习惯这种函数式编程风格，就从现在的第一篇笔记开始记录这个学习过程啦！笔记来源于《Scala编程》的学习。 从文本读取文本行 初步目标： 构建一个脚本从文本读取文本行，并将它们打印出来...
Scala—— 3.函数
01-07
在Scala中，方法和函数几乎可以等同(比如它们的定义、使用、运行机制都是一样的)，只是函数的使用方式更加的灵活多样。函数式编程是从编程方式(范式)的角度来谈的，可以这样理解：函数式编程把函数当作一等公民，...
Scala入门学习教程.docx
09-22
本资源摘要信息为 Scala 入门学习教程，旨在帮助读者快速掌握 Scala 语言的基本概念和编程技术。该教程面向具有一定编程经验的读者，尤其是 Java 语言的开发者。 知识点一：Scala 语言简介 Scala 语言是一种现代化...
Perl高手秘籍：自定义操作符的炼金术
最新发布
2401_85760095的博客
07-10 508
自定义操作符之前，需要了解Perl中操作符的基本概念和语法。前缀操作符：如++$x。后缀操作符：如$x++。二元操作符：如$x + $y。三元操作符：如$x?$a : $b。Perl允许通过关键字重载现有的操作符或定义新的操作符。# 结果为 "Hello.World"# 结果为 43自定义操作符可以用于实现复杂的逻辑和算法。:';# 结果为 20。
大数据学习之 scala基础（补充）
m0_58050808的博客
07-08 479
scala基础： hello world: 写scala可运行文件的注意事项 1、如果一个scala文件要运行，class要改成object 2、如果是class，就仅单纯代表一个类，如果是object代表的是单例对象 3、scala语法中，一句话结束不需要加分号 4、scala文件中，可以无缝使用java中的类和方法 object HelloWorld { def main(args: Array[String]): Unit = { // 输出一句hello world pr
Perl 语言入门学习
YJlio的博客
07-10 1187
本文将介绍Perl的基本语法、常用功能和一些简单的示例，以帮助初学者快速入门。本文介绍了Perl语言的基本语法和功能，包括变量、条件语句、循环、函数、文件操作和正则表达式。Perl支持多种循环语句，如`for`、`foreach`、`while`和`until`。Perl支持常见的条件语句，如`if`、`elsif`和`else`。标量变量以`$`开头。哈希（关联数组）用于存储键值对，哈希变量以`%`开头。Perl函数（子程序）使用`sub`关键字定义。数组用于存储有序列表，数组变量以`@`开头。
掌控文件系统：在Perl中实现自定义事件的终极指南
liuxin33445566的博客
07-10 702
Perl中处理文件系统事件通常涉及到对操作系统API的调用，或者使用第三方模块来实现。
spark 读写hbase(scala)——2.批量操作
06-28
### 回答1： 批量操作是指一次性对多个数据进行操作，可以提高操作效率。在使用 Spark 读写 HBase 时，也可以使用批量操作来提高效率。具体实现方式如下： 1. 批量写入数据 使用 HBase 的 Put 类来创建要写入的数据，然后将 Put 对象添加到一个 List 中，最后使用 HBase 的 Table 类的 put 方法来批量写入数据。示例代码如下： ```scala val conf = HBaseConfiguration.create() val connection = ConnectionFactory.createConnection(conf) val table = connection.getTable(TableName.valueOf("table_name")) val puts = new ListBuffer[Put]() for (i <- 1 to 100) { val put = new Put(Bytes.toBytes(s"row_$i")) put.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col"), Bytes.toBytes(s"value_$i")) puts += put } table.put(puts.toList.asJava) ``` 2. 批量读取数据 使用 HBase 的 Get 类来创建要读取的数据，然后将 Get 对象添加到一个 List 中，最后使用 HBase 的 Table 类的 get 方法来批量读取数据。示例代码如下： ```scala val conf = HBaseConfiguration.create() val connection = ConnectionFactory.createConnection(conf) val table = connection.getTable(TableName.valueOf("table_name")) val gets = new ListBuffer[Get]() for (i <- 1 to 100) { val get = new Get(Bytes.toBytes(s"row_$i")) get.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col")) gets += get } val results = table.get(gets.toList.asJava) for (result <- results) { val row = Bytes.toString(result.getRow) val value = Bytes.toString(result.getValue(Bytes.toBytes("cf"), Bytes.toBytes("col"))) println(s"$row: $value") } ``` 以上就是使用 Scala 实现 Spark 读写 HBase 的批量操作的方法。 ### 回答2： 在实际的数据处理中，一次需要对多条数据进行读写操作，如果每次都进行单条的读写逐条操作会使程序效率非常低下。所以spark提供了批量操作API，可以对多条数据进行一次性的读写操作，极大地提高了程序的效率。 批量读操作： 批量读取数据的方式有两种：Get和Scan。 使用Get方式读取多条数据，需要将每条数据对应的Get对象添加到List集合当中，再将List集合转换为RDD对象进行操作。示例代码如下： ```scala val conf = HBaseConfiguration.create() conf.set(TableInputFormat.INPUT_TABLE, tableName) val gets = new util.ArrayList[Get]() gets.add(new Get(Bytes.toBytes("rowkey1"))) gets.add(new Get(Bytes.toBytes("rowkey2"))) gets.add(new Get(Bytes.toBytes("rowkey3"))) conf.set(TableInputFormat.SCAN, convertScanToString(new Scan())) val getRdd = sc.parallelize(gets) val hbaseRdd = getRdd.map((_, null)).hbaseBulkGet(conf, tableName, (result: Result) => { val kv: Array[Byte] = result.getValue(Bytes.toBytes(family), Bytes.toBytes(column)) Bytes.toString(kv) }) println(hbaseRdd.collect.toBuffer) ``` 使用Scan方式读取多条数据，需要将Scan对象作为参数传入，再将RDD对象转换为PairRDD并使用hbaseScan方法进行操作。示例代码如下： ```scala val conf = HBaseConfiguration.create() conf.set(TableInputFormat.INPUT_TABLE, tableName) val scan = new Scan(Bytes.toBytes("rowkey1"), Bytes.toBytes("rowkey3")) conf.set(TableInputFormat.SCAN, convertScanToString(scan)) val hbaseRdd = sc.hbaseScanRDD(conf).map((result: Result) => { val kv: Array[Byte] = result.getValue(Bytes.toBytes(family), Bytes.toBytes(column)) Bytes.toString(kv) }) println(hbaseRdd.collect.toBuffer) ``` 批量写操作： 批量写操作可以使用Put对象集合，将多条数据对应的Put对象添加到集合中，并将集合转换成RDD进行操作即可。示例代码如下： ```scala val conf = HBaseConfiguration.create() conf.set(TableOutputFormat.OUTPUT_TABLE, tableName) val puts = new util.ArrayList[Put]() puts.add(new Put(Bytes.toBytes("rowkey1")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value1"))) puts.add(new Put(Bytes.toBytes("rowkey2")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value2"))) puts.add(new Put(Bytes.toBytes("rowkey3")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value3"))) val putRdd = sc.parallelize(puts) putRdd.hbaseBulkPut(conf, tableName) ``` 总结： 批量操作是Spark访问HBase的常见操作方式，在实际的实现过程中需要注意以下几点： 1、Get和Scan对象在HBase中读取数据的方式不一样，需要注意区分； 2、使用批量读操作可以大大提高程序效率，减少读写操作的时间消耗； 3、使用批量写操作需要合理规划写入的数据，避免出现数据冲突问题，影响程序的运行。 ### 回答3： 本篇文章将继续深入介绍如何使用Scala编码实现Spark读写操作HBase，具体涉及到HBase的批量操作。 一、Batch操作概述 在使用HBase进行数据处理的时候，我们常常需要对一个或多个表进行批量操作，批量操作即是针对 HBase的多行进行插入、删除等操作，以此来实现在HBase操作上的高效处理。HBase提供了很多批量操作API，比如 Put、Get、Delete、Scan，这些API都是可以批量操作的。 在Spark中，我们同样可以使用类似的API对HBase进行批量操作。本文将根据具体需求使用Spark实现HBase的批量操作。 二、批量操作的实现 Spark读写HBase时，使用RDD中的foreachPartition来对每个分区进行处理，在该函数内使用HBase API进行操作。关于批量操作，我们可以在每个分区中开启一个batch操作，将每个操作加入batch后，再提交即可。 例如，我们可以考虑实现一个批量put的功能，将RDD中的数据一批一批写入表中： ``` def insert(tableName: String, rdd: RDD[(String, String)]): Unit = { try{ rdd.foreachPartition({ iter => val conf = HBaseUtils.getHBaseConfiguration() conf.set(TableOutputFormat.OUTPUT_TABLE, tableName) val conn = ConnectionFactory.createConnection(conf) val table = conn.getTable(TableName.valueOf(tableName)) val puts = new java.util.ArrayList[Put]() iter.foreach { case (rowKey:String, value: String) => { // 构造put对象并append val put = new Put(Bytes.toBytes(rowKey)) put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(columnQualifier), Bytes.toBytes(value)) puts.add(put) if (puts.size() >= batchSize) { // 多条记录组成的put对象，使用put(List<Put>)一次性写入 table.put(puts) puts.clear() } } } // 如果puts还有内容，再写一次 if (puts.size() > 0) { table.put(puts) puts.clear() } table.close() conn.close() }) } catch { case e: Exception => e.printStackTrace() } } ``` 在该方法中，我们使用foreachPartition遍历RDD中的每个分区，然后通过Connection来获取HBase表实例。 之后定义了一个用于存放Put的List，当List的大小大于等于batchSize时，就将这个List中的所有put操作提交给HBase执行。 最后，释放资源，并为大家展示如何调用这个方法： ``` val rdd: RDD[(String, String)] = ... val tableName: String = ... insert(tableName, rdd) ``` 使用这种方式实现批量put，我们可以将一批数据提交到HBase执行，从而提升写入效率。当然，对于其他批量操作也可以应用类似的方式。 三、总结 本文根据实际需求，结合Spark和HBase的特点，实现了一些常用的批量操作，为大家提供了一个快速、高效的HBase操作方案。批量操作的好处是，可以将多条记录一次性操作，请求与写入等待时间都会得到缩短，获得更高的效率。感兴趣的同学可以试试，在实际开发中应该会受益匪浅！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值