Scala之——Actor编程(基于Scala2.10.x)

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80865796

1. 什么是 Scala Actor

1.1.概念

Scala 中的 Actor 能够实现并行编程的强大功能,它是基于事件模型的并发机制, Scala 是运用消息(message)的发送、接收来实现多线程的。使用 Scala 能够更容易地实现多线程应用的开发。

1.2.传统 java 并发编程与 Scala Actor 编程的区别

 

对于Java,我们都知道它的多线程实现需要对共享资源(变量、对象等)使用synchronized 关键字进行代码块同步、对象锁互斥等等。而且,常常一大块的try…catch语句块中加上wait方法、notify方法、notifyAll方法是让人很头疼的。原因就在于Java中多数使用的是可变状态的对象资源,对这些资源进行共享来实现多线程编程的话,控制好资源竞争与防止对象状态被意外修改是非常重要的,而对象状态的不变性也是较难以保证的。而在Scala中,我们可以通过复制不可变状态的资源(即对象,Scala中一切都是对象,连函数、方法也是)的一个副本,再基于Actor的消息发送、接收机制进行并行编程

 1.3. Actor 方法执行顺序
  • 1.首先调用 start()方法启动 Actor
  • 2.调用 start()方法后其 act()方法会被执行
  • 3.Actor 发送消息
1.4.发送消息的方式

!

发送异步消息,没有返回值。

!?

发送同步消息,等待返回值。

!!

发送异步消息,返回值是 Future[Any]。

2. Actor 实战

2.1 Actor实现多线程开发
package com.lyz.scala

import scala.actors.Actor

/**
 * Scala线程实例1
 * @author liuyazhuang
 *
 */
object MyActor1 extends Actor{
	override
	def act(){
	  for(i <- 1 to 10){
	    println("actor-1" + i)
	    Thread.sleep(2000)
	  }
	}
}

object MyActor2 extends Actor{
  override
  def act(){
    for(i <- 1 to 10){
      println("actor-2" + i)
      Thread.sleep(2000)
    }
  }
}

object ActorTest extends App{
  MyActor1.start()
  MyActor2.start()
}
说明: 上面分别调用了两个单例对象的 start() 方法,他们的 act() 方法会被执行,相当于在 java 中开启了两个线程,线程的 run() 方法会被执行
注意 :这两个 Actor 是并行执行的, act()方法中的 for 循环执行完成后 actor 程序就退出了
2.2 不断接收消息
package com.lyz.scala

import scala.actors.Actor

/**
 * 不断的接收消息
 * @author liuyazhuang
 *
 */
class MyActorMessage extends Actor{
	
  override def act(): Unit = {
    while (true) {
      receive{
        case "start" => {
	        println("starting...")
	        Thread.sleep(5000)
	        println("started")
	     }
        case "stop" => {
          println("stopping...")
          Thread.sleep(5000)
          println("stopped")
        }
      }
    }
  }
}

object MyActor{
  def main(args: Array[String]) {
	  var actor = new MyActorMessage
	  actor.start();
	  actor ! "start"
	  actor ! "stop"
	  println("消息发送完成")
  }
}
说明: 在 act()方法中加入了 while ( true ) 循环,就可以不停的接收消息
注意 :发送 start 消息和 stop 的消息是异步的,但是 Actor 接收到消息执行的过程是同步的按顺序执行
2.3 react方式
package com.lyz.scala

import scala.actors.Actor

/**
 * react 方式会复用线程,比 receive 更高效
 * @author liuyazhuang
 *
 */
class MyActorReact extends Actor{
	
  override def act() : Unit = {
	loop{
	  react{
	    case "start" => {
	      println("starting...")
	      Thread.sleep(2000)
	      println("started");
	    }
	    case "stop" => {
	      println("stopping...")
	      Thread.sleep(2000)
	      println("stopped")
	    }
	  }
	}
  }
}

object MyReact{
	def main(args: Array[String]) {
		  var react = new MyActorReact
		  react.start()
		  react ! "start"
		  react ! "stop"
		  println("消息发送完成")
	}
}

说明: react 如果要反复执行消息处理, react 外层要用 loop,不能用 while

2.4 结合case class发送消息
package com.lyz.scala

import scala.actors.Actor

/**
 * 结合case calss发送消息
 * @author liuyazhuang
 *
 */
class AppleActor extends Actor{
	override def act():Unit= {
	  while (true) {
		  receive{
		    case "start" => println("startting...")
		    case SyncMsg(id, msg) => {
		      println(id + " sync " + msg)
		      Thread.sleep(2000)
		      sender ! ReplyMsg(3, "finished")
		    }
		    case AsyncMsg(id, msg) => {
		      println(id + " async " + msg)
		      Thread.sleep(2000)
		    }
		  }
	  }
	}
}

object AppleActor{
  def main(args: Array[String]) {
	  var a = new AppleActor
	  a.start()
	  //异步消息
	  a ! AsyncMsg(1, "hello actor")
	  println("发送异步消息完成")
	  
	  //同步消息
	  var reply = a !! SyncMsg(2, "hello actor")
	  println(reply.isSet)
	  
	  var c = reply.apply()
	  println(reply.isSet)
	  println(c)
  }
}
case class SyncMsg(id : Int, msg : String)
case class AsyncMsg(id : Int, msg : String)
case class ReplyMsg(id : Int, msg : String)

3、案例

actor 并发编程写一个单机版的 WorldCount,将多个文件作为输入,计算完成后将多个任务汇总,得到最终的结果

package com.lyz.scala

import scala.actors.{Actor, Future}
import scala.collection.mutable
import scala.io.Source
import java.io.File
import javax.swing.text.MutableAttributeSet

/**
 * 用 actor 并发编程写一个单机版的 WorldCount,将多个文件作为输入,计算完成后将多个任
   务汇总,得到最终的结果
 * @author liuyazhuang
 *
 */
class Task extends Actor{
	override def act() : Unit = {
	  loop{
	    react{
	      case SubmitTask(fileName) => {
	        val contents = Source.fromFile(new File(fileName)).mkString
	        val arr = contents.split("\r\n")
	        val result = arr.flatMap(_.split(" ")).map((_, 1)).groupBy(_._1).mapValues(_.length)
	        sender ! ResultTask(result)
	      }
	      case StopTask => {
	        exit()
	      }
	    }
	  }
	}
}

object WordCount{
  def main(args: Array[String]) {
	  val files = Array("d:/words.txt ", "d:/words.log")
	  
	  val replySet = new mutable.HashSet[Future[Any]]
	  val resultList = new mutable.ListBuffer[ResultTask]
	  
	  for(f <- files){
	    val t = new Task
	    val reply = t.start() !! SubmitTask(f)
	    replySet += reply
	  }
	  
	  while (replySet.size > 0) {
		  val toCompute = replySet.filter(_.isSet)
		  for(r <- toCompute){
		    val result = r.apply()
		    resultList += result.asInstanceOf[ResultTask]
		    replySet.remove(r)
		  }
		  Thread.sleep(100)
	  }	
	  val finalResult = resultList.map(_.result).flatten.groupBy(_._1).mapValues(x => x.foldLeft(0)(_ + _._2))
	  println(finalResult)
  }
}

case class SubmitTask(fileName : String)
case object StopTask
case class ResultTask(result : Map[String, Int])

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
### 回答1: 批量操作是指一次性对多个数据进行操作,可以提高操作效率。在使用 Spark 读写 HBase 时,也可以使用批量操作来提高效率。具体实现方式如下: 1. 批量写入数据 使用 HBase 的 Put 类来创建要写入的数据,然后将 Put 对象添加到一个 List 中,最后使用 HBase 的 Table 类的 put 方法来批量写入数据。示例代码如下: ```scala val conf = HBaseConfiguration.create() val connection = ConnectionFactory.createConnection(conf) val table = connection.getTable(TableName.valueOf("table_name")) val puts = new ListBuffer[Put]() for (i <- 1 to 100) { val put = new Put(Bytes.toBytes(s"row_$i")) put.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col"), Bytes.toBytes(s"value_$i")) puts += put } table.put(puts.toList.asJava) ``` 2. 批量读取数据 使用 HBase 的 Get 类来创建要读取的数据,然后将 Get 对象添加到一个 List 中,最后使用 HBase 的 Table 类的 get 方法来批量读取数据。示例代码如下: ```scala val conf = HBaseConfiguration.create() val connection = ConnectionFactory.createConnection(conf) val table = connection.getTable(TableName.valueOf("table_name")) val gets = new ListBuffer[Get]() for (i <- 1 to 100) { val get = new Get(Bytes.toBytes(s"row_$i")) get.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col")) gets += get } val results = table.get(gets.toList.asJava) for (result <- results) { val row = Bytes.toString(result.getRow) val value = Bytes.toString(result.getValue(Bytes.toBytes("cf"), Bytes.toBytes("col"))) println(s"$row: $value") } ``` 以上就是使用 Scala 实现 Spark 读写 HBase 的批量操作的方法。 ### 回答2: 在实际的数据处理中,一次需要对多条数据进行读写操作,如果每次都进行单条的读写逐条操作会使程序效率非常低下。所以spark提供了批量操作API,可以对多条数据进行一次性的读写操作,极大地提高了程序的效率。 批量读操作: 批量读取数据的方式有两种:Get和Scan。 使用Get方式读取多条数据,需要将每条数据对应的Get对象添加到List集合当中,再将List集合转换为RDD对象进行操作。示例代码如下: ```scala val conf = HBaseConfiguration.create() conf.set(TableInputFormat.INPUT_TABLE, tableName) val gets = new util.ArrayList[Get]() gets.add(new Get(Bytes.toBytes("rowkey1"))) gets.add(new Get(Bytes.toBytes("rowkey2"))) gets.add(new Get(Bytes.toBytes("rowkey3"))) conf.set(TableInputFormat.SCAN, convertScanToString(new Scan())) val getRdd = sc.parallelize(gets) val hbaseRdd = getRdd.map((_, null)).hbaseBulkGet(conf, tableName, (result: Result) => { val kv: Array[Byte] = result.getValue(Bytes.toBytes(family), Bytes.toBytes(column)) Bytes.toString(kv) }) println(hbaseRdd.collect.toBuffer) ``` 使用Scan方式读取多条数据,需要将Scan对象作为参数传入,再将RDD对象转换为PairRDD并使用hbaseScan方法进行操作。示例代码如下: ```scala val conf = HBaseConfiguration.create() conf.set(TableInputFormat.INPUT_TABLE, tableName) val scan = new Scan(Bytes.toBytes("rowkey1"), Bytes.toBytes("rowkey3")) conf.set(TableInputFormat.SCAN, convertScanToString(scan)) val hbaseRdd = sc.hbaseScanRDD(conf).map((result: Result) => { val kv: Array[Byte] = result.getValue(Bytes.toBytes(family), Bytes.toBytes(column)) Bytes.toString(kv) }) println(hbaseRdd.collect.toBuffer) ``` 批量写操作: 批量写操作可以使用Put对象集合,将多条数据对应的Put对象添加到集合中,并将集合转换成RDD进行操作即可。示例代码如下: ```scala val conf = HBaseConfiguration.create() conf.set(TableOutputFormat.OUTPUT_TABLE, tableName) val puts = new util.ArrayList[Put]() puts.add(new Put(Bytes.toBytes("rowkey1")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value1"))) puts.add(new Put(Bytes.toBytes("rowkey2")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value2"))) puts.add(new Put(Bytes.toBytes("rowkey3")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value3"))) val putRdd = sc.parallelize(puts) putRdd.hbaseBulkPut(conf, tableName) ``` 总结: 批量操作是Spark访问HBase的常见操作方式,在实际的实现过程中需要注意以下几点: 1、Get和Scan对象在HBase中读取数据的方式不一样,需要注意区分; 2、使用批量读操作可以大大提高程序效率,减少读写操作的时间消耗; 3、使用批量写操作需要合理规划写入的数据,避免出现数据冲突问题,影响程序的运行。 ### 回答3: 本篇文章将继续深入介绍如何使用Scala编码实现Spark读写操作HBase,具体涉及到HBase的批量操作。 一、Batch操作概述 在使用HBase进行数据处理的时候,我们常常需要对一个或多个表进行批量操作,批量操作即是针对 HBase的多行进行插入、删除等操作,以此来实现在HBase操作上的高效处理。HBase提供了很多批量操作API,比如 Put、Get、Delete、Scan,这些API都是可以批量操作的。 在Spark中,我们同样可以使用类似的API对HBase进行批量操作。本文将根据具体需求使用Spark实现HBase的批量操作。 二、批量操作的实现 Spark读写HBase时,使用RDD中的foreachPartition来对每个分区进行处理,在该函数内使用HBase API进行操作。关于批量操作,我们可以在每个分区中开启一个batch操作,将每个操作加入batch后,再提交即可。 例如,我们可以考虑实现一个批量put的功能,将RDD中的数据一批一批写入表中: ``` def insert(tableName: String, rdd: RDD[(String, String)]): Unit = { try{ rdd.foreachPartition({ iter => val conf = HBaseUtils.getHBaseConfiguration() conf.set(TableOutputFormat.OUTPUT_TABLE, tableName) val conn = ConnectionFactory.createConnection(conf) val table = conn.getTable(TableName.valueOf(tableName)) val puts = new java.util.ArrayList[Put]() iter.foreach { case (rowKey:String, value: String) => { // 构造put对象并append val put = new Put(Bytes.toBytes(rowKey)) put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(columnQualifier), Bytes.toBytes(value)) puts.add(put) if (puts.size() >= batchSize) { // 多条记录组成的put对象,使用put(List<Put>)一次性写入 table.put(puts) puts.clear() } } } // 如果puts还有内容,再写一次 if (puts.size() > 0) { table.put(puts) puts.clear() } table.close() conn.close() }) } catch { case e: Exception => e.printStackTrace() } } ``` 在该方法中,我们使用foreachPartition遍历RDD中的每个分区,然后通过Connection来获取HBase表实例。 之后定义了一个用于存放Put的List,当List的大小大于等于batchSize时,就将这个List中的所有put操作提交给HBase执行。 最后,释放资源,并为大家展示如何调用这个方法: ``` val rdd: RDD[(String, String)] = ... val tableName: String = ... insert(tableName, rdd) ``` 使用这种方式实现批量put,我们可以将一批数据提交到HBase执行,从而提升写入效率。当然,对于其他批量操作也可以应用类似的方式。 三、总结 本文根据实际需求,结合Spark和HBase的特点,实现了一些常用的批量操作,为大家提供了一个快速、高效的HBase操作方案。批量操作的好处是,可以将多条记录一次性操作,请求与写入等待时间都会得到缩短,获得更高的效率。感兴趣的同学可以试试,在实际开发中应该会受益匪浅!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

冰 河

可以吃鸡腿么?

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值