Scala—— 5.类

Java时面向对象的编程语言,由于历史原因,Java中还存在着非面向对象的内容:基本类型,null,静态方法等。Scala语言来自于Java,所以天生就是面向对象的语言,而且Scala时纯粹的面相对象的语言,即在Scala中,一切皆为对象。类是抽象的,概念的代表一类事物,比如人类。对象是具体的,实际的,代表一个具体事物。 类是对象的模版,对象是类的一个个体,对应一个实例。

1.类定义

语法
[修饰符] class 类名 {
类体
}

2.创建对象

语法
val | var 对象名 [: 类型] = new 类型[()]
不改变对象的引用(即:内存地址),应该声明为val性质的,否则声明为var,Scala设计者推荐使用val,因为一般来说,在程序中,通常只是改变对象属性的值,而不是改变对象的引用。Scala在声明对象变量时,可以根据创建对象的类型自动推断,所以类型声明可以省略,但当类型和后面new对象类型有继承关系时即多态,就必须写了。
CreateObject .scala

package com.blueicex.learn.classlearn
/**
 * @author blueicex
 * @date 2020/2/16 12:50
 * @objectname CreateObject
 * @Mem learn
 */
//Student、Teacher为Person的子类
object CreateObject {
  def main(args: Array[String]): Unit = {
    var person1 = new Person()
    var person2 = new Person
    //此处必须显式指出类型Person 
    var student: Person = new Student()
    var teacher: Person = new Teacher
  }
}

Student.scala

package com.blueicex.learn.classlearn

/**
 * @author  blueicex
 * @date 2020/2/16 14:18
 * @projectname test
 *              Mem learn
 */
class Student extends Person {

}

Teacher .scala

package com.blueicex.learn.classlearn

/**
 * @author Administrator blueicex
 * @date 2020/2/16 13:40
 * @projectname test
 *              Mem learn
 */
class Teacher extends Person {
   
}

3.方法

语法
def 方法名[: 返回值类型] = {
方法体
}

4.构造方法

Scala构造对象需要调用构造方法,并且可以有任意多个构造方法(即Scala中构造器也支持重载),Scala类的构造器包括:主构造器和辅助构造器。
语法
class 类名(形参列表) { //主构造器
def this(形参列表){ //辅助构造器
}
def this(形参列表){ //辅助构造器可以有多个…
}
}
A.主构造器、辅助构造器

package com.blueicex.learn.classlearn
/**
 * @author  blueicex
 * @date 2020/2/16 12:47
 * @objectname Peron
 * @Mem learn
 */
//主构造器
class Person(inName: String="blueicex", inAge: Int=33) {
  var name: String = inName
  var age: Int = inAge
  //辅助构造器
  def this(inName: String) {
    this(inName, 40)
  }

  def out(): Unit = {
    println(name + this.name)
    println(age + this.age)
  }

  override def toString: String = {
    this.name + this.age
  }
}


Scala构造器的作用是完成对新对象的初始化,构造器没有返回值。 主构造器的声明直接放置于类名之后。主构造器会执行类定义中的所有语句,这里可以体会到Scala的函数式编程和面向对象编程融合在一起,即:构造器也是方法(函数),传递参数和使用方法和前面的函数部分内容没有区别。如果主构造器没有参数,小括号可以省略,构建对象时调用的构造方法的小括号也可以省略
辅助构造器名称为this(这个和Java是不一样的),多个辅助构造器通过不同参数列表进行区分,在底层就是构造器重载。
B.私有构造器
如果想要主构造器编程私有的,可以在()之前加上private,这样用户只能通过辅助构造器来构造对象了,比如: class Person2 private(){},此时不必在私有构造器内加参数了,因为类此时不让私有构造器构造类了。
辅助构造器的声明不能和主构造器的声明(参数)一致,会发生错误(即构造器名重复)。辅助构造器必须第一行显式调用主构造器,否则语法通不过,与java一样。

package com.blueicex.learn.classlearn

/**
 * @author  blueicex
 * @date 2020/2/16 12:56
 * @projectname test
 *              Mem learn
 */
object PersonInfo {
  def main(args: Array[String]): Unit = {
    var personInfo = new PersonInfo()
    println(personInfo)
  }
}
//私有构造器
class PersonInfo private() {

  var name: String = _
  var age: Int = _

  def this(inName: String = "blueicex", inAge: Int = 33) {
    //辅助构造器必须显式调用主构造器,否则语法不通过
    //此时的辅助构造器,充当了主构造器的作用
    this()
    this.name = inName
    this.age = inAge
  }

  def this(inName: String) {
    //此时如果调用 this(inAge = 12),编译器就迷惑了,不知道是调用哪个构造起了,所以通不过
    //this(inAge = 12)
    //此条语句就通过了,因为编译器知道,调用了默认构造器
    this(inName = "gege", inAge = 12)
    this.name = inName
  }

  def this(inAge: Int) {
    //此时调用的是调用的主构造器,不是调用的 def this(inName: String)
    this("gege")
    this.age = inAge;
  }

  override def toString: String = super.toString

}

5.构造器参数

Scala类的主构造器的形参未用任何修饰符修饰,那么这个参数是局部变量。如果参数使用val关键字声明,那么Scala会将参数作为类的私有只读属性使用。如果参数使用var关键字声明,那么Scala会将参数作为类的成员属性使用,并会提供对应的xxx()[类似getter]/xxx_KaTeX parse error: Expected group after '_' at position 190: …自动生成类似xxx(),xxx_̲eq()方法,没有冲突,二者可以共存。

StructureParam.scala

package com.blueicex.learn.classlearn

import scala.beans.BeanProperty

/**
 * @author Administrator blueicex
 * @date 2020/2/16 14:39
 * @projectname test
 *              Mem learn
 */
object StructureParam {
  var class1 = new Class1
  var class2 = new Class2
  var class3 = new Class3
  var class4 = new Class4

  def main(args: Array[String]): Unit = {
    //不能访问,语法通不过,编译器把inParam当成局部变量使用
    //println("class1 inParam"+":"+class1.inParam)

    //能读
    println("class2 inParam" + ":" + class2.inParam)

    //既能读也能写
    println("class3 inParam" + ":" + class3.inParam)
    class3.param = "liuzexuan"
    println("class3 inParam" + ":" + class3.inParam)

    //自动生成set、get方法
    println("class4 inParam" + ":" + class4.getParam)
    class4.setParam("blueicex")
  }
}

//不要将构造器参数和成员变量混淆
class Class1(inParam: String = "gege") {
  var param = this.inParam

  override def toString: String = {
    this.param
  }
}

class Class2(val inParam: String = "gege") {
  var param = this.inParam
}

class Class3(var inParam: String = "gege") {
  var param = this.inParam
}

//使用@BeanProperty自动生成get和set函数
class Class4(val inParam: String = "gege") {
  @BeanProperty
  var param = this.inParam
}

————Blueicex 2020/2/15 18:06 blueice1980@126.com

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 批量操作是指一次性对多个数据进行操作,可以提高操作效率。在使用 Spark 读写 HBase 时,也可以使用批量操作来提高效率。具体实现方式如下: 1. 批量写入数据 使用 HBase 的 Put 类来创建要写入的数据,然后将 Put 对象添加到一个 List 中,最后使用 HBase 的 Table 类的 put 方法来批量写入数据。示例代码如下: ```scala val conf = HBaseConfiguration.create() val connection = ConnectionFactory.createConnection(conf) val table = connection.getTable(TableName.valueOf("table_name")) val puts = new ListBuffer[Put]() for (i <- 1 to 100) { val put = new Put(Bytes.toBytes(s"row_$i")) put.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col"), Bytes.toBytes(s"value_$i")) puts += put } table.put(puts.toList.asJava) ``` 2. 批量读取数据 使用 HBase 的 Get 类来创建要读取的数据,然后将 Get 对象添加到一个 List 中,最后使用 HBase 的 Table 类的 get 方法来批量读取数据。示例代码如下: ```scala val conf = HBaseConfiguration.create() val connection = ConnectionFactory.createConnection(conf) val table = connection.getTable(TableName.valueOf("table_name")) val gets = new ListBuffer[Get]() for (i <- 1 to 100) { val get = new Get(Bytes.toBytes(s"row_$i")) get.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col")) gets += get } val results = table.get(gets.toList.asJava) for (result <- results) { val row = Bytes.toString(result.getRow) val value = Bytes.toString(result.getValue(Bytes.toBytes("cf"), Bytes.toBytes("col"))) println(s"$row: $value") } ``` 以上就是使用 Scala 实现 Spark 读写 HBase 的批量操作的方法。 ### 回答2: 在实际的数据处理中,一次需要对多条数据进行读写操作,如果每次都进行单条的读写逐条操作会使程序效率非常低下。所以spark提供了批量操作API,可以对多条数据进行一次性的读写操作,极大地提高了程序的效率。 批量读操作: 批量读取数据的方式有两种:Get和Scan。 使用Get方式读取多条数据,需要将每条数据对应的Get对象添加到List集合当中,再将List集合转换为RDD对象进行操作。示例代码如下: ```scala val conf = HBaseConfiguration.create() conf.set(TableInputFormat.INPUT_TABLE, tableName) val gets = new util.ArrayList[Get]() gets.add(new Get(Bytes.toBytes("rowkey1"))) gets.add(new Get(Bytes.toBytes("rowkey2"))) gets.add(new Get(Bytes.toBytes("rowkey3"))) conf.set(TableInputFormat.SCAN, convertScanToString(new Scan())) val getRdd = sc.parallelize(gets) val hbaseRdd = getRdd.map((_, null)).hbaseBulkGet(conf, tableName, (result: Result) => { val kv: Array[Byte] = result.getValue(Bytes.toBytes(family), Bytes.toBytes(column)) Bytes.toString(kv) }) println(hbaseRdd.collect.toBuffer) ``` 使用Scan方式读取多条数据,需要将Scan对象作为参数传入,再将RDD对象转换为PairRDD并使用hbaseScan方法进行操作。示例代码如下: ```scala val conf = HBaseConfiguration.create() conf.set(TableInputFormat.INPUT_TABLE, tableName) val scan = new Scan(Bytes.toBytes("rowkey1"), Bytes.toBytes("rowkey3")) conf.set(TableInputFormat.SCAN, convertScanToString(scan)) val hbaseRdd = sc.hbaseScanRDD(conf).map((result: Result) => { val kv: Array[Byte] = result.getValue(Bytes.toBytes(family), Bytes.toBytes(column)) Bytes.toString(kv) }) println(hbaseRdd.collect.toBuffer) ``` 批量写操作: 批量写操作可以使用Put对象集合,将多条数据对应的Put对象添加到集合中,并将集合转换成RDD进行操作即可。示例代码如下: ```scala val conf = HBaseConfiguration.create() conf.set(TableOutputFormat.OUTPUT_TABLE, tableName) val puts = new util.ArrayList[Put]() puts.add(new Put(Bytes.toBytes("rowkey1")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value1"))) puts.add(new Put(Bytes.toBytes("rowkey2")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value2"))) puts.add(new Put(Bytes.toBytes("rowkey3")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value3"))) val putRdd = sc.parallelize(puts) putRdd.hbaseBulkPut(conf, tableName) ``` 总结: 批量操作是Spark访问HBase的常见操作方式,在实际的实现过程中需要注意以下几点: 1、Get和Scan对象在HBase中读取数据的方式不一样,需要注意区分; 2、使用批量读操作可以大大提高程序效率,减少读写操作的时间消耗; 3、使用批量写操作需要合理规划写入的数据,避免出现数据冲突问题,影响程序的运行。 ### 回答3: 本篇文章将继续深入介绍如何使用Scala编码实现Spark读写操作HBase,具体涉及到HBase的批量操作。 一、Batch操作概述 在使用HBase进行数据处理的时候,我们常常需要对一个或多个表进行批量操作,批量操作即是针对 HBase的多行进行插入、删除等操作,以此来实现在HBase操作上的高效处理。HBase提供了很多批量操作API,比如 Put、Get、Delete、Scan,这些API都是可以批量操作的。 在Spark中,我们同样可以使用类似的API对HBase进行批量操作。本文将根据具体需求使用Spark实现HBase的批量操作。 二、批量操作的实现 Spark读写HBase时,使用RDD中的foreachPartition来对每个分区进行处理,在该函数内使用HBase API进行操作。关于批量操作,我们可以在每个分区中开启一个batch操作,将每个操作加入batch后,再提交即可。 例如,我们可以考虑实现一个批量put的功能,将RDD中的数据一批一批写入表中: ``` def insert(tableName: String, rdd: RDD[(String, String)]): Unit = { try{ rdd.foreachPartition({ iter => val conf = HBaseUtils.getHBaseConfiguration() conf.set(TableOutputFormat.OUTPUT_TABLE, tableName) val conn = ConnectionFactory.createConnection(conf) val table = conn.getTable(TableName.valueOf(tableName)) val puts = new java.util.ArrayList[Put]() iter.foreach { case (rowKey:String, value: String) => { // 构造put对象并append val put = new Put(Bytes.toBytes(rowKey)) put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(columnQualifier), Bytes.toBytes(value)) puts.add(put) if (puts.size() >= batchSize) { // 多条记录组成的put对象,使用put(List<Put>)一次性写入 table.put(puts) puts.clear() } } } // 如果puts还有内容,再写一次 if (puts.size() > 0) { table.put(puts) puts.clear() } table.close() conn.close() }) } catch { case e: Exception => e.printStackTrace() } } ``` 在该方法中,我们使用foreachPartition遍历RDD中的每个分区,然后通过Connection来获取HBase表实例。 之后定义了一个用于存放Put的List,当List的大小大于等于batchSize时,就将这个List中的所有put操作提交给HBase执行。 最后,释放资源,并为大家展示如何调用这个方法: ``` val rdd: RDD[(String, String)] = ... val tableName: String = ... insert(tableName, rdd) ``` 使用这种方式实现批量put,我们可以将一批数据提交到HBase执行,从而提升写入效率。当然,对于其他批量操作也可以应用类似的方式。 三、总结 本文根据实际需求,结合Spark和HBase的特点,实现了一些常用的批量操作,为大家提供了一个快速、高效的HBase操作方案。批量操作的好处是,可以将多条记录一次性操作,请求与写入等待时间都会得到缩短,获得更高的效率。感兴趣的同学可以试试,在实际开发中应该会受益匪浅!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值