Scala—— 6.包

Scala包的作用(和Java一样),区分相同名字的类,当类很多时,很好的管理类,控制访问范围, 对类的功能进行扩展。

1.语法

package 包名
命名规范:
一般是小写字母+小圆点一般是
com.公司名.项目名.业务模块名
比如:com.blueicex.project.model1

2.基本形式(感性认识)

package com.boke{} 表示创建了包 com.boke ,在{}中// 继续写它的子包 scala //com.boke.scala, 还写类,特质trait,还写object。在一个文件中,同时创建多个包,以及给各个包创建类,trait和object。
MotionKonwlege.scala

package com.blueicex.learn.packagelearn

/**
 * @author  blueicex
 * @date 2020/2/16 15:01
 * @projectname test
 * @Mem learn
 */
object Motionknowledge {
  def main(args: Array[String]): Unit = {
    import com.blueicex.temp._
    var test = new Test
    println(test)
  }
}

//只能在同一个文件中使用这种自定义的包,并且这种自动的包不产生路径
package com.blueicex.temp {
  class Test {
    override def toString: String = super.toString
  }
}


3.包作用域

包可以直接向上访问,即Scala中子包中直接访问父包的内容,大括号体现作用域。(Java中子包使用父包的类,需要import)。在子包和父包类重名时,默认采用就近原则,如果希望指定使用某个类,则带上包名,父包要访问子包的内容时,需要import对应的类等,可以在同一个.scala文件中声明多个并列的package(建议嵌套的package不要超过3层)。包名可以相对也可以绝对,比如访问 BeanProperty 的绝对路径是: root.scala.beans.BeanProperty,在一般情况下,我们使用相对路径来引入包,只有当包名冲突时,使用绝对路径来处理。
PackageWorkArea.scala

package com.blueicex.learn.packagelearn

import scala.beans.BeanProperty

/**
 * @author Administrator blueicex
 * @date 2020/2/16 15:25
 * @projectname test
 * @Mem learn
 */
object PackageWorkArea {
  //全局引用包
  @BeanProperty
  var param1: Int = _
  //绝对引用包
  @scala.beans.BeanProperty
  var param2: Int = _
  //相对引用包
  @beans.BeanProperty
  var param3: Int = _
}

4.包对象

包可以包含类、对象和特质(trait),但不能包含函数/方法或变量的定义。这是Java虚拟机的局限。为了弥补这一点,Scala提供了包对象的概念来解决这个问题。在包中直接写方法,或者定义变量,就错误,使用包对象的技术来解决。package object scala表示创建一个包对象scala, 它是com.boke.scala这个包对应的包对象。每一个包都可以有一个包对象。包对象的名字需要和子包一样。在包对象中可以定义变量,方法。在包对象中定义的变量和方法,就可以在对应的包中使用。 在底层这个包对象会生成两个类 package.class 和 package$.class。 包对象名称需要和包名一致,一般用来对包的功能补充

package com.boke {  
   //创建包对象
  package object scala {
    var name = "king"
    def sayHiv(): Unit = {
      println("package object scala sayHI~")
    }
  }
  
  //创建的包
  //与包对象同名 
  package scala {  
    class Person {  
      val name = "Nick"
      def play(message: String): Unit = {
        println(this.name + " " + message)
      }
    }
 
    class User {
      def testUser(): Unit = {
        println("name = " + name)
        sayHiv()
      }
    }
    
    // 创建在包scala中创建执行对象Test1
    object Test1 { 
      def main(args: Array[String]): Unit = {
 
        println("name=" + name)
        name = "yy"
        sayHiv() 
        println(com.boke.scala.name)
      
        val user = new com.boke.User()
        println("user" + user)
 
      }
    }
 
  }
 
} 

5.伴生类、伴生对象及访问修饰符

伴生类、伴生对象
在类的同一层次上,同时出现同名的class和object,那么class为伴生类,obejct为伴生对象,因为Scala没有static, 所以设计伴生类和伴生对象,伴生类内写非静态的内容,伴生对象写静态内容

访问修饰符
属性访问权限为默认时,从底层看属性是private的,但是因为提供了xxx_$eq()[类似setter]/xxx()[类似getter]方法,因此从使用效果看是任何地方都可以访问。默认为public访问权限,private为私有权限,只有在类的内部和伴生对象中可用,protected只能子类访问,同包无法访问。 在Scala中没有public关键字,即不能用public显示的修饰属性和方法。

包访问权限(表示属性有了限制,同时包也有了限制),这点和Java不一样,java没有包访问修饰限制,体现出Scala包的灵活性。

package com.scala.exercise
class Person {
   //增加包访问权限后
  //1.private同时起作用,不仅同类可以使用
  //2.com.scala.exercise中包下的其它类也可以使用
  private[exercise]  val name = "Jack"
  //当然,也可以将可见度延展到上层包
  private[scala] val age = 23
  //说明:private可以变化,比如protected[scala],非常的灵活
}
object boke_demo01 {
 
  def main(args: Array[String]): Unit = {
    val c = new Clerk()
    c.showInfo()
    Clerk.test(c)
 
  }
}
 
//类
class Clerk {
  var name: String = "jack" //
  private var sal: Double = 9999.9
  protected var age = 23
  var job: String = "大数据工程师"
 
  def showInfo(): Unit = {
    //在本类可以使用私有的
    println(" name " + name + " sal= " + sal)
  }
}
 

object Clerk {
  def test(c: Clerk): Unit = {
    //这里体现出在伴生对象中,可以访问c.sal
    println("test() name=" + c.name + " sal= " + c.sal)
  }
}
 
class Person {
  //这里我们增加一个包访问权限
  //下面private[scala] : 1,仍然是private 2. 在scala包(包括子包)下也可以使用name ,相当于扩大访问范围
 
  protected[scala] val name = "Jack"
}

6.包的引入

在Scala中,import语句可以出现在任何地方,并不仅限于文件顶部,import语句的作用一直延伸到包含该语句的块末尾。
Java中如果想要导入包中所有的类,可以通过通配符*,Scala中采用_(下划线)。
import scala.collection.mutable._
如果不想要某个包中全部的类,而是其中几个类,可以采用选取器(大括号)。
import scala.collection.mutable.{HashMap, HashSet}
如果引入的多个包中含有相同的类,那么可以将不需要的类进行重命名进行区分
import java.util.{HashMap => JavaHashMap}
如果某个冲突的类根本就不会用到,那么这个类可以直接隐藏掉。
import java.util.{ HashMap=>_, _} // 含义为 引入 java.util 包的所有类,但是忽略 HahsMap 类

————Blueicex 2020/2/15 18:06 blueice1980@126.com

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 批量操作是指一次性对多个数据进行操作,可以提高操作效率。在使用 Spark 读写 HBase 时,也可以使用批量操作来提高效率。具体实现方式如下: 1. 批量写入数据 使用 HBase 的 Put 类来创建要写入的数据,然后将 Put 对象添加到一个 List 中,最后使用 HBase 的 Table 类的 put 方法来批量写入数据。示例代码如下: ```scala val conf = HBaseConfiguration.create() val connection = ConnectionFactory.createConnection(conf) val table = connection.getTable(TableName.valueOf("table_name")) val puts = new ListBuffer[Put]() for (i <- 1 to 100) { val put = new Put(Bytes.toBytes(s"row_$i")) put.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col"), Bytes.toBytes(s"value_$i")) puts += put } table.put(puts.toList.asJava) ``` 2. 批量读取数据 使用 HBase 的 Get 类来创建要读取的数据,然后将 Get 对象添加到一个 List 中,最后使用 HBase 的 Table 类的 get 方法来批量读取数据。示例代码如下: ```scala val conf = HBaseConfiguration.create() val connection = ConnectionFactory.createConnection(conf) val table = connection.getTable(TableName.valueOf("table_name")) val gets = new ListBuffer[Get]() for (i <- 1 to 100) { val get = new Get(Bytes.toBytes(s"row_$i")) get.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col")) gets += get } val results = table.get(gets.toList.asJava) for (result <- results) { val row = Bytes.toString(result.getRow) val value = Bytes.toString(result.getValue(Bytes.toBytes("cf"), Bytes.toBytes("col"))) println(s"$row: $value") } ``` 以上就是使用 Scala 实现 Spark 读写 HBase 的批量操作的方法。 ### 回答2: 在实际的数据处理中,一次需要对多条数据进行读写操作,如果每次都进行单条的读写逐条操作会使程序效率非常低下。所以spark提供了批量操作API,可以对多条数据进行一次性的读写操作,极大地提高了程序的效率。 批量读操作: 批量读取数据的方式有两种:Get和Scan。 使用Get方式读取多条数据,需要将每条数据对应的Get对象添加到List集合当中,再将List集合转换为RDD对象进行操作。示例代码如下: ```scala val conf = HBaseConfiguration.create() conf.set(TableInputFormat.INPUT_TABLE, tableName) val gets = new util.ArrayList[Get]() gets.add(new Get(Bytes.toBytes("rowkey1"))) gets.add(new Get(Bytes.toBytes("rowkey2"))) gets.add(new Get(Bytes.toBytes("rowkey3"))) conf.set(TableInputFormat.SCAN, convertScanToString(new Scan())) val getRdd = sc.parallelize(gets) val hbaseRdd = getRdd.map((_, null)).hbaseBulkGet(conf, tableName, (result: Result) => { val kv: Array[Byte] = result.getValue(Bytes.toBytes(family), Bytes.toBytes(column)) Bytes.toString(kv) }) println(hbaseRdd.collect.toBuffer) ``` 使用Scan方式读取多条数据,需要将Scan对象作为参数传入,再将RDD对象转换为PairRDD并使用hbaseScan方法进行操作。示例代码如下: ```scala val conf = HBaseConfiguration.create() conf.set(TableInputFormat.INPUT_TABLE, tableName) val scan = new Scan(Bytes.toBytes("rowkey1"), Bytes.toBytes("rowkey3")) conf.set(TableInputFormat.SCAN, convertScanToString(scan)) val hbaseRdd = sc.hbaseScanRDD(conf).map((result: Result) => { val kv: Array[Byte] = result.getValue(Bytes.toBytes(family), Bytes.toBytes(column)) Bytes.toString(kv) }) println(hbaseRdd.collect.toBuffer) ``` 批量写操作: 批量写操作可以使用Put对象集合,将多条数据对应的Put对象添加到集合中,并将集合转换成RDD进行操作即可。示例代码如下: ```scala val conf = HBaseConfiguration.create() conf.set(TableOutputFormat.OUTPUT_TABLE, tableName) val puts = new util.ArrayList[Put]() puts.add(new Put(Bytes.toBytes("rowkey1")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value1"))) puts.add(new Put(Bytes.toBytes("rowkey2")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value2"))) puts.add(new Put(Bytes.toBytes("rowkey3")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value3"))) val putRdd = sc.parallelize(puts) putRdd.hbaseBulkPut(conf, tableName) ``` 总结: 批量操作是Spark访问HBase的常见操作方式,在实际的实现过程中需要注意以下几点: 1、Get和Scan对象在HBase中读取数据的方式不一样,需要注意区分; 2、使用批量读操作可以大大提高程序效率,减少读写操作的时间消耗; 3、使用批量写操作需要合理规划写入的数据,避免出现数据冲突问题,影响程序的运行。 ### 回答3: 本篇文章将继续深入介绍如何使用Scala编码实现Spark读写操作HBase,具体涉及到HBase的批量操作。 一、Batch操作概述 在使用HBase进行数据处理的时候,我们常常需要对一个或多个表进行批量操作,批量操作即是针对 HBase的多行进行插入、删除等操作,以此来实现在HBase操作上的高效处理。HBase提供了很多批量操作API,比如 Put、Get、Delete、Scan,这些API都是可以批量操作的。 在Spark中,我们同样可以使用类似的API对HBase进行批量操作。本文将根据具体需求使用Spark实现HBase的批量操作。 二、批量操作的实现 Spark读写HBase时,使用RDD中的foreachPartition来对每个分区进行处理,在该函数内使用HBase API进行操作。关于批量操作,我们可以在每个分区中开启一个batch操作,将每个操作加入batch后,再提交即可。 例如,我们可以考虑实现一个批量put的功能,将RDD中的数据一批一批写入表中: ``` def insert(tableName: String, rdd: RDD[(String, String)]): Unit = { try{ rdd.foreachPartition({ iter => val conf = HBaseUtils.getHBaseConfiguration() conf.set(TableOutputFormat.OUTPUT_TABLE, tableName) val conn = ConnectionFactory.createConnection(conf) val table = conn.getTable(TableName.valueOf(tableName)) val puts = new java.util.ArrayList[Put]() iter.foreach { case (rowKey:String, value: String) => { // 构造put对象并append val put = new Put(Bytes.toBytes(rowKey)) put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(columnQualifier), Bytes.toBytes(value)) puts.add(put) if (puts.size() >= batchSize) { // 多条记录组成的put对象,使用put(List<Put>)一次性写入 table.put(puts) puts.clear() } } } // 如果puts还有内容,再写一次 if (puts.size() > 0) { table.put(puts) puts.clear() } table.close() conn.close() }) } catch { case e: Exception => e.printStackTrace() } } ``` 在该方法中,我们使用foreachPartition遍历RDD中的每个分区,然后通过Connection来获取HBase表实例。 之后定义了一个用于存放Put的List,当List的大小大于等于batchSize时,就将这个List中的所有put操作提交给HBase执行。 最后,释放资源,并为大家展示如何调用这个方法: ``` val rdd: RDD[(String, String)] = ... val tableName: String = ... insert(tableName, rdd) ``` 使用这种方式实现批量put,我们可以将一批数据提交到HBase执行,从而提升写入效率。当然,对于其他批量操作也可以应用类似的方式。 三、总结 本文根据实际需求,结合Spark和HBase的特点,实现了一些常用的批量操作,为大家提供了一个快速、高效的HBase操作方案。批量操作的好处是,可以将多条记录一次性操作,请求与写入等待时间都会得到缩短,获得更高的效率。感兴趣的同学可以试试,在实际开发中应该会受益匪浅!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值