scala中使用protobuf

原创 2016年05月31日 20:11:46

     最近一个项目中,需要在spark中解析protobuf编码过的数据。

     针对这个问题,我首先试了一下在scala中解析protobuf编码后数据的功能,下面记录了详细过程

     1.书写proto文件

    2.编译proto文件,获取java类文件


    3.把刚刚得到java类文件拷贝maven工程目录下,注意目录结果和package一致

     4.修改maven配置文件,加入对protobuf的依赖

    

      5.编写读写protobuf的scala代码

package hello

import scala.collection.JavaConversions._
import java.io.ByteArrayInputStream
import java.io.ByteArrayOutputStream
import myproto._

object helloword {
  def main(args: Array[String]) {
    println("start  .......")
    ////1.构建对象
    val personBuilder = PersonMsg.Person.newBuilder()
    personBuilder.setId(1)
    personBuilder.setName("老王")
    personBuilder.setEmail("laowang@163.com")
    personBuilder.addFriends("zhangsan")
    personBuilder.addFriends("lisi")
    val person1 = personBuilder.build()

    ////2.序列化
    val output = new ByteArrayOutputStream()
    person1.writeTo(output)

    val byteArray = output.toByteArray
    ////反序列化
    val input = new ByteArrayInputStream(byteArray)
    val person2 = PersonMsg.Person.parseFrom(input)

    ////打印对象
    println("ID:" + person2.getId)
    println("name:" + person2.getName)
    println("email:" + person2.getEmail)
    person2.getFriendsList.toList.toArray.map(item=>println("-----",item,"-------"))

  }

}
      6.运行测试


Akka和ProtoBuf的简单实例

Akka是什么? 可扩展的实时事务处理 我们相信编写出正确的具有容错性和可扩展性的并发程序太困难了。这多数是因为我们使用了错误的工具和错误的抽象级别。Akka就是为了改变这种状况而...

protobuf 学习笔记

初次接触protobuf,在此整理一下自己的一些学习过程及问题,作为笔记或者分享来互相学习...

spark程序读写protobuf格式数据(java语言)

在spark上,用protobuf替代json格式作为数据序列化存储谷歌的protobuf一般用来将复杂数据结构序列化为二进制数组,非常适合网络传输等领域,其效率和空间占用都优于json格式。这一次,...

Spark读取Hbase中的数据

大家可能都知道很熟悉Spark的两种常见的数据读取方式(存放到RDD中):(1)、调用parallelize函数直接从集合中获取数据,并存入RDD中;Java版本如下: JavaRDD myRDD ...
  • LW_GHY
  • LW_GHY
  • 2016年05月21日 11:34
  • 6997

IDEA Spark HiveContext访问Hive

1 项目配置 需要将hive-site.xml配置放在src目录。 2 代码 import org.apache.spark.SparkConf import org.apache.spark...

Ubuntu搭建Git服务器和GitWeb

安装Git服务器:   Ubuntu服务器端:   第一步: 安装必备软件模块 ivan@ubuntu:~$ sudo apt-get install git-core openssh-se...

linux protobuf-c的使用,构建

  • 2017年10月20日 19:26
  • 2.66MB
  • 下载

window下使用protobuf

  • 2014年01月18日 15:43
  • 3.75MB
  • 下载

使用自己的Python函数处理Protobuf中的字符串编码

使用Python如何处理Protobuf中的非UTF8字符串,笔者以实际的项目经历与大家分享!...
  • witton
  • witton
  • 2016年11月04日 19:03
  • 2280
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:scala中使用protobuf
举报原因:
原因补充:

(最多只允许输入30个字)