Scala——五、类

前言:

本章要点:

  1. 类中的字段自动带有setter、getter方法
  2. 可以自定义setter、getter方法
  3. @BeanProperty注解来生成JavaBeansgetXXX/setXXX方法
  4. 每个类都有主构造器和辅助构造器

1.简单类和无参方法

  1. Scala类中必须初始化字段,方法默认是公有的
class Counter{
	private var value = 0
	def increment(){value +=1}
	def current() = value
}

调用无参方法时可以不写圆括号

val myCounter = new Counter//或者 new Counter()
myCounter.increment()
myCounter.current

对于该值器方法(改变对象状态的方法)使用(),而对于取值器方法(不改变对象状态的方法)可以不写()

2.带getter和setter的属性

Scala为每个组字段都提供setter、getter方法

class Person{
	var age = 0
}

age的两个方法均是公有的,因它没有private前缀。在Scala中,这两个方法分别叫做age和age_
在任何时候你都可以重新定义这两个方法

class Person{
	private var age = 0		//注意此处使用的是private
	def age = privateAge
	def age_ = (newValue:Int){
		if(newValue>privateAge) privateAge = newValue;
	}
}

注意此处,该字段是私有的,则其getter和setter方法也是私有的。
如果字段是val,则其只有getter
如果你不需要这两个方法,则可以将字段声明为private[this]

3.只带getter的属性

class Massage{
	val timeStamp = java.time.Instant.now
}

Scala会生成一个私有的fianl字段和一个getter方法,但是没有setter

此时需要一个属性,客户端不能随意改变,但是又可以通过某种方式修改。

class Counter{
	private var value = 0
	def increment (){value+=1}
	def current = value		//注意,声明中没有()
}

注意:对于getter方法,你必须以不带括号的方式使用:

val n = myCounter.current	//不可以用current()

4.对象私有字段

在Scala中,方法可以访问该类的所有对象的私有字段

class Counter{
	private var value = 0
	def increment (){value+=1}
	def isLess(other : Counter) = value <other.value
}

之所以other,value合法,是因为other也同样是Counter对象。Scala允许我们定义更为严格的访问限制,通过private[this]来实现private[this] var value = 0//此时访问someObiect.value不被允许,此时Counter只能访问当前对象的value字段。
Scala还允许将访问权限赋予指定的类private[类名]可以定义仅有指定类的方法访问给定的字段。

5.Bean属性

JavaBeans规范把Java属性定义为getFoo/setFoo方法。在Scala中,当你将字段标注为@BeanProperty时,这样的方法会自动生成。

class Person{
	@BeanProperty var name:String = _
}

此时将会生成四个方法:name/name_和getName()/setName()

6.辅助构造器

Scala有任意多个构造器,一个主构造器,其他的全部都是辅助构造器。
辅助构造器:

  1. 名称为:this
  2. 每一个辅助构造器都必须以一个对先前已经定义的其他辅助构造器或者主构造器的调用开始
class Person{
	private var name = ""
	private var age = 0
	def this(name:String){
		this()//调用主构造器
		this,name = name
	}

	def this(name:String,age :Int){
	}
}

7.主构造器

主构造器的参数直接放在类名之后

class Person(val name:String,val age :Int){
}
  1. 主构造器的参数被编译为字段,其值被初始化成构造时传入参数。
  2. 主构造器会执行类定义中的所有语句。println也是主构造器的一部分
  3. 如果类名后面没有参数,则该类具备一个无参主构造器
class Person(val name : String,private var age:Int)

这段代码将声明并初始化如下字段

val name:string
private var age:Int

构造参数也可以是普通的方法参数,不带var/val。这样的参数如何处理取决于他们在类中被如何使用。

  • 不过不带val/var的参数至少被一个方法所使用,它将会被升格为字段。
class Person(name:String,age:Int){
	def description = name +" is "+age+"years old"
}
//这段代码声明并初始化了不可变字段name,age,这两个字段都是私有对象,
//类似于这样的字段等同于private[this] val 的效果
  • 否则,该参数将不会被保存为字段

如果想让主构造器变成私有的,则在类名后面加上关键字private

class Parson private(val age:Int){}

8.嵌套类

你几乎可以在任何语法结构中内嵌任何语法结构。

class Network{
	class Member(val name:String){
		val contacts = new ArrayBuffer[Member]
	}
	
	private val members = new ArrayBuffer[Member]
	def join(name :String){
		val m new Member(name)
		member +=m
		m
	}
}
val chatter = new Network
val myFace = new Network

如上,每个实例都有自己的Member对象,但是这两个Member对象是不同的两个类,像把其中一个Member对象添加到另一个Member对象中是不被允许的。若想实现这种不被允许的功能,则可以:

  1. 将Mamber对象移到其它地方去,比如伴生对象中
object Network{
	class Member(val name:String){
	}
}
  1. 类型投影Network#Member,其含义是”任何Network的Member“
class Network{
	class Member(val name:String){
		val contacts = new ArrayBuffer[Network#Member]
	}
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 批量操作是指一次性对多个数据进行操作,可以提高操作效率。在使用 Spark 读写 HBase 时,也可以使用批量操作来提高效率。具体实现方式如下: 1. 批量写入数据 使用 HBase 的 Put 来创建要写入的数据,然后将 Put 对象添加到一个 List 中,最后使用 HBase 的 Table 的 put 方法来批量写入数据。示例代码如下: ```scala val conf = HBaseConfiguration.create() val connection = ConnectionFactory.createConnection(conf) val table = connection.getTable(TableName.valueOf("table_name")) val puts = new ListBuffer[Put]() for (i <- 1 to 100) { val put = new Put(Bytes.toBytes(s"row_$i")) put.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col"), Bytes.toBytes(s"value_$i")) puts += put } table.put(puts.toList.asJava) ``` 2. 批量读取数据 使用 HBase 的 Get 来创建要读取的数据,然后将 Get 对象添加到一个 List 中,最后使用 HBase 的 Table 的 get 方法来批量读取数据。示例代码如下: ```scala val conf = HBaseConfiguration.create() val connection = ConnectionFactory.createConnection(conf) val table = connection.getTable(TableName.valueOf("table_name")) val gets = new ListBuffer[Get]() for (i <- 1 to 100) { val get = new Get(Bytes.toBytes(s"row_$i")) get.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col")) gets += get } val results = table.get(gets.toList.asJava) for (result <- results) { val row = Bytes.toString(result.getRow) val value = Bytes.toString(result.getValue(Bytes.toBytes("cf"), Bytes.toBytes("col"))) println(s"$row: $value") } ``` 以上就是使用 Scala 实现 Spark 读写 HBase 的批量操作的方法。 ### 回答2: 在实际的数据处理中,一次需要对多条数据进行读写操作,如果每次都进行单条的读写逐条操作会使程序效率非常低下。所以spark提供了批量操作API,可以对多条数据进行一次性的读写操作,极大地提高了程序的效率。 批量读操作: 批量读取数据的方式有两种:Get和Scan。 使用Get方式读取多条数据,需要将每条数据对应的Get对象添加到List集合当中,再将List集合转换为RDD对象进行操作。示例代码如下: ```scala val conf = HBaseConfiguration.create() conf.set(TableInputFormat.INPUT_TABLE, tableName) val gets = new util.ArrayList[Get]() gets.add(new Get(Bytes.toBytes("rowkey1"))) gets.add(new Get(Bytes.toBytes("rowkey2"))) gets.add(new Get(Bytes.toBytes("rowkey3"))) conf.set(TableInputFormat.SCAN, convertScanToString(new Scan())) val getRdd = sc.parallelize(gets) val hbaseRdd = getRdd.map((_, null)).hbaseBulkGet(conf, tableName, (result: Result) => { val kv: Array[Byte] = result.getValue(Bytes.toBytes(family), Bytes.toBytes(column)) Bytes.toString(kv) }) println(hbaseRdd.collect.toBuffer) ``` 使用Scan方式读取多条数据,需要将Scan对象作为参数传入,再将RDD对象转换为PairRDD并使用hbaseScan方法进行操作。示例代码如下: ```scala val conf = HBaseConfiguration.create() conf.set(TableInputFormat.INPUT_TABLE, tableName) val scan = new Scan(Bytes.toBytes("rowkey1"), Bytes.toBytes("rowkey3")) conf.set(TableInputFormat.SCAN, convertScanToString(scan)) val hbaseRdd = sc.hbaseScanRDD(conf).map((result: Result) => { val kv: Array[Byte] = result.getValue(Bytes.toBytes(family), Bytes.toBytes(column)) Bytes.toString(kv) }) println(hbaseRdd.collect.toBuffer) ``` 批量写操作: 批量写操作可以使用Put对象集合,将多条数据对应的Put对象添加到集合中,并将集合转换成RDD进行操作即可。示例代码如下: ```scala val conf = HBaseConfiguration.create() conf.set(TableOutputFormat.OUTPUT_TABLE, tableName) val puts = new util.ArrayList[Put]() puts.add(new Put(Bytes.toBytes("rowkey1")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value1"))) puts.add(new Put(Bytes.toBytes("rowkey2")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value2"))) puts.add(new Put(Bytes.toBytes("rowkey3")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value3"))) val putRdd = sc.parallelize(puts) putRdd.hbaseBulkPut(conf, tableName) ``` 总结: 批量操作是Spark访问HBase的常见操作方式,在实际的实现过程中需要注意以下几点: 1、Get和Scan对象在HBase中读取数据的方式不一样,需要注意区分; 2、使用批量读操作可以大大提高程序效率,减少读写操作的时间消耗; 3、使用批量写操作需要合理规划写入的数据,避免出现数据冲突问题,影响程序的运行。 ### 回答3: 本篇文章将继续深入介绍如何使用Scala编码实现Spark读写操作HBase,具体涉及到HBase的批量操作。 一、Batch操作概述 在使用HBase进行数据处理的时候,我们常常需要对一个或多个表进行批量操作,批量操作即是针对 HBase的多行进行插入、删除等操作,以此来实现在HBase操作上的高效处理。HBase提供了很多批量操作API,比如 Put、Get、Delete、Scan,这些API都是可以批量操作的。 在Spark中,我们同样可以使用似的API对HBase进行批量操作。本文将根据具体需求使用Spark实现HBase的批量操作。 二、批量操作的实现 Spark读写HBase时,使用RDD中的foreachPartition来对每个分区进行处理,在该函数内使用HBase API进行操作。关于批量操作,我们可以在每个分区中开启一个batch操作,将每个操作加入batch后,再提交即可。 例如,我们可以考虑实现一个批量put的功能,将RDD中的数据一批一批写入表中: ``` def insert(tableName: String, rdd: RDD[(String, String)]): Unit = { try{ rdd.foreachPartition({ iter => val conf = HBaseUtils.getHBaseConfiguration() conf.set(TableOutputFormat.OUTPUT_TABLE, tableName) val conn = ConnectionFactory.createConnection(conf) val table = conn.getTable(TableName.valueOf(tableName)) val puts = new java.util.ArrayList[Put]() iter.foreach { case (rowKey:String, value: String) => { // 构造put对象并append val put = new Put(Bytes.toBytes(rowKey)) put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(columnQualifier), Bytes.toBytes(value)) puts.add(put) if (puts.size() >= batchSize) { // 多条记录组成的put对象,使用put(List<Put>)一次性写入 table.put(puts) puts.clear() } } } // 如果puts还有内容,再写一次 if (puts.size() > 0) { table.put(puts) puts.clear() } table.close() conn.close() }) } catch { case e: Exception => e.printStackTrace() } } ``` 在该方法中,我们使用foreachPartition遍历RDD中的每个分区,然后通过Connection来获取HBase表实例。 之后定义了一个用于存放Put的List,当List的大小大于等于batchSize时,就将这个List中的所有put操作提交给HBase执行。 最后,释放资源,并为大家展示如何调用这个方法: ``` val rdd: RDD[(String, String)] = ... val tableName: String = ... insert(tableName, rdd) ``` 使用这种方式实现批量put,我们可以将一批数据提交到HBase执行,从而提升写入效率。当然,对于其他批量操作也可以应用似的方式。 三、总结 本文根据实际需求,结合Spark和HBase的特点,实现了一些常用的批量操作,为大家提供了一个快速、高效的HBase操作方案。批量操作的好处是,可以将多条记录一次性操作,请求与写入等待时间都会得到缩短,获得更高的效率。感兴趣的同学可以试试,在实际开发中应该会受益匪浅!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值