spring mvc 4.1支持protobuf converters

最新推荐文章于 2024-08-09 20:00:00 发布

草鱼狂飙

最新推荐文章于 2024-08-09 20:00:00 发布

阅读量1.8k

点赞数 1

分类专栏：编程基础

编程基础专栏收录该内容

56 篇文章 0 订阅

订阅专栏

#简介
本文旨在向读者分享springMVC项目中Protocol Buffers的一个使用技巧，前提是需要具备对springMVC和Protocol Buffers的基本了解。
Protocol Buffers（以下简称PB）是谷歌推出的一种数据交换格式，高效、易扩展、跨语言（C++, Java, Python）。将它用于网络传输是一个不错的选择。我们服务器与客户端的通讯就是使用它来做序列化与反序列化的。
#Spring原生支持
spring 4.1以后开始支持protobuf HttpMessageConverter 详细的配置如下：
##pom.xml配置

<dependency>
    <groupId>com.google.protobuf</groupId>
    <artifactId>protobuf-java</artifactId>
    <version>2.5.0</version>
</dependency>
<dependency>
    <groupId>com.googlecode.protobuf-java-format</groupId>
    <artifactId>protobuf-java-format</artifactId>
    <version>1.2</version>
</dependency>

还有要引入spring核心包及spring mvc包版本4.1.6.RELEASE，如果不知道怎么引入，百度一下

##配置portoc插件
也可以不用这个插件，得需要自己用protoc.exe生产java文件

<plugin>
    <groupId>com.google.protobuf.tools</groupId>
    <artifactId>maven-protoc-plugin</artifactId>
    <version>0.1.10</version>
    <executions>
        <execution>
            <id>generate-sources</id>
            <goals>
                <goal>compile</goal>
            </goals>
            <phase>generate-sources</phase>
            <configuration>
                <protoSourceRoot>${basedir}/src/main/proto/</protoSourceRoot>
                <includes>
                    <param>**/*.proto</param>
                </includes>
            </configuration>
        </execution>
    </executions>
    <configuration>
        <protocExecutable>D:/dev/protoc.exe</protocExecutable><!--protoc.exe文件地址,使用2.5版本-->
    </configuration>
</plugin>

##springmvc-servlet.xml配置

<mvc:annotation-driven>
    <mvc:message-converters>
　　　　<!--看了一下源码，客户端请求类型必须设置成application/x-protobuf采用用这个类来解析实体

        <bean class="org.springframework.http.converter.protobuf.ProtobufHttpMessageConverter">
        </bean>
    </mvc:message-converters>
</mvc:annotation-driven>

##user.proto文件

目录/src/main/proto/和protoc插件配置路径保持一致，如果不想用插件可以自己用protoc.exe生成java文件

 package com.my.pb;

 option java_package = "com.my.pb";
 option java_outer_classname = "UserProto";

 message User {
   optional int64 id = 1;
   optional string name = 2;
   message PhoneNumber {
       required string number = 1;
     }
     repeated PhoneNumber phone = 4;
 }

##controller类

@Controller
public class ProtobufController{

    @RequestMapping(value = "/proto/write1",method= RequestMethod.POST)
    public ResponseEntity<UserProto.User> protoWrite1(RequestEntity<UserProto.User> requestEntity) {
        //System.out.println("server===\n");
        UserProto.User user =  requestEntity.getBody();
        System.out.println("server===\n" + user);
        return ResponseEntity.ok(user);
    }
}

##客户端测试代码，使用Apache的httpclient进行测试

@Test
public void testWrite() throws IOException {
    CloseableHttpClient httpclient = HttpClients.createDefault();
    HttpPost httpPost = new HttpPost(baseUri+"/proto/write1");

    UserProto.User user =   UserProto.User.newBuilder().setId(1).setName("zhangsan").addPhone(UserProto.User.PhoneNumber.newBuilder().setNumber("18611163408")).build();//构造

    ByteArrayInputStream inputStream = new ByteArrayInputStream(user.toByteArray());
    InputStreamEntity inputStreamEntity = new InputStreamEntity(inputStream);
    //这两行很重要的，是告诉springmvc客户端请求和响应的类型，指定application/x-protobuf类型,spring会用ProtobufHttpMessageConverter类来解析请求和响应的实体
    httpPost.addHeader("Content-Type","application/x-protobuf");
    httpPost.addHeader("Accept", "application/x-protobuf");

httpPost.setEntity(inputStreamEntity);
CloseableHttpResponse response2 = httpclient.execute(httpPost);

    try {
        System.out.println(response2.getStatusLine());
        HttpEntity entity2 = response2.getEntity();

        ByteArrayOutputStream buf = new ByteArrayOutputStream();
        entity2.writeTo(buf);
        System.out.println(new String(buf.toByteArray())+"#################");
        UserProto.User user2 = UserProto.User.parseFrom(buf.toByteArray());
        System.out.println(user2);
    } finally {
        response2.close();
    }
}

##总结
当时调试的时候试了很多次，响应总是被转成xml类型，最后看了源码才发现客户端要设置httpPost.addHeader(“Accept”, “application/x-protobuf”);
其实也可以自己实现HttpMessageConverter，也不是很麻烦。

#自己实现HttpMessageConverter

PB的使用方法大致是这样的：

1.服务器与客户端约定要交换的数据格式，然后用PB的语法将其定义为.proto文件。

2.用PB自带的编译器编译.proto文件，生成对应语言的代码文件，比如java的类文件。

3.生成好的代码包含了对象定义、对象的序列化与反序列化等功能。

PB的详细使用方法不是本文的讨论范畴，如需学习请移步【PB官网】和【博客A】

我曾使用过一款与PB类似的开源项目Hessian，spring中集成了Hessian的服务出口类，相当于一个特殊的servlet，需要配置Web.xml和对应的-servlet.xml文件，它可以完成方法参数和返回值的自动转换。客户端通过代理工厂HessianProxyFactory访问服务器上的接口，就像访问本地方法一样方便，是货真价实的RPC（远程过程调用）。详细参考【Hessian官网】和【博客B】。
受惯性思想影响，我在初次使用PB时到处寻找其与springMVC结合的配置方法。几经折腾后才发现，PB的用法与Hessian很不一样。PB的用法更像是使用工具类，我们需要调用它的parseFrom、writeTo、toByteArray等方法实现对象与流的转换。因此有这些方法就够了，我们无需任何配置。在controller中的使用举例如下：

InputStream in = request.getInputStream(); 
UseClientInfo useClientInfo = UseClientInfo.parseFrom(in);

说明：这是从输入流中反序列化一个PB对象UseClientInfo

byte[] content = useClientInfoBuilder.build().toByteArray(); 
response.setContentType("application/x-protobuf"); 
response.setContentLength(content.length); 
response.setCharacterEncoding("utf-8"); 
OutputStream out = response.getOutputStream(); 
out.write(content); 
out.flush(); 
out.close();

说明：这是往输出流中写序列化后的对象

客户端也是类似的用法，从这里可以看出PB算不上是一个完整的RPC，它只是提供了序列化与反序列化的方法。与Hessian相比的优势是无需配置、易用、易扩展，劣势是集成度不够高，需要用户参与序列化/反序列化工作，在各个controller的各个接口中频繁重复这个工作着实让人厌烦。有没有一种方式可以让controller从这些工作中脱离，接口的入参和返回值直接使用PB对象就可以了呢？

答案是肯定的，接下来讲解通过扩展springMVC的AbstractHttpMessageConverter完成PB对象和流之间的自动转换。（ps：终于到重点了，我也知道有点啰嗦，不过我希望讲清楚一件事的来龙去脉^_）。

【首先】扩展AbstractHttpMessageConverter，实现我们自己的转换器PBMessageConverter。

package ……保密……; 

import java.io.IOException; 
import java.io.InputStream; 
import java.io.OutputStream; 
import java.lang.reflect.InvocationTargetException; 
import java.lang.reflect.Method; 
import java.nio.charset.Charset; 

import org.springframework.http.HttpInputMessage; 
import org.springframework.http.HttpOutputMessage; 
import org.springframework.http.MediaType; 
import org.springframework.http.converter.AbstractHttpMessageConverter; 
import org.springframework.http.converter.HttpMessageNotReadableException; 
import org.springframework.http.converter.HttpMessageNotWritableException; 
import com.google.protobuf.GeneratedMessage; 

/**
 * pb对象转换，自动完成pb对象的序列化与反序列化，让controller的接口脱离这些重复工作
 * @author shannon
 * @time Dec 6, 2012 12:16:11 PM
 * @email shannonchou@126.com
 */ 
public class PBMessageConverter extends AbstractHttpMessageConverter<GeneratedMessage> { 


    public PBMessageConverter() { 
        //设置该转换器支持的媒体类型 
        super(new MediaType("application", "x-protobuf", Charset.forName("UTF-8"))); 
    } 

    @Override 
    protected GeneratedMessage readInternal( 
            Class<? extends GeneratedMessage> arg0, HttpInputMessage arg1) 
            throws IOException, HttpMessageNotReadableException { 
        Method parseMethod; 
        try { 
            //利用反射机制获得parseFrom方法 
            parseMethod = arg0.getDeclaredMethod("parseFrom", InputStream.class); 
        } catch (SecurityException e) { 
            e.printStackTrace(); 
            return null; 
        } catch (NoSuchMethodException e) { 
            e.printStackTrace(); 
            return null; 
        } 
        try { 
            //调用parseFrom方法从InputStream中反序列化PB对象 
            return (GeneratedMessage) parseMethod.invoke(arg0, arg1.getBody()); 
        } catch (IllegalArgumentException e) { 
            e.printStackTrace(); 
            return null; 
        } catch (IllegalAccessException e) { 
            e.printStackTrace(); 
            return null; 
        } catch (InvocationTargetException e) { 
            e.printStackTrace(); 
            return null; 
        } 
    } 

    @Override 
    protected boolean supports(Class<?> arg0) { 
        //如果是GeneratedMessage的子类则支持 
        return GeneratedMessage.class.isAssignableFrom(arg0); 
    } 

    @Override 
    protected void writeInternal(GeneratedMessage arg0, HttpOutputMessage arg1) 
            throws IOException, HttpMessageNotWritableException { 
        //不用自己设置type，父类会根据构造函数中给的type设置 
        //arg1.getHeaders().setContentType(new MediaType("application","x-protobuf", Charset.forName("UTF-8"))); 
        OutputStream outputStream = arg1.getBody(); 

        //自己直接设置contentLength会导致异常，覆盖父类的getContentLength（）方法才是标准做法 
        //arg1.getHeaders().setContentLength(bytes.length); 
        arg0.writeTo(outputStream); 
        outputStream.flush(); 
        outputStream.close(); 
    } 

    @Override 
    protected Long getContentLength(GeneratedMessage t, MediaType contentType) { 
        return Long.valueOf(t.toByteArray().length); 
    } 
}

说明：
1.我们给AbstractHttpMessageConverter的泛型变量是GeneratedMessage，而它是所有生成的PB对象的父类，我们可以通过它来识别PB对象。

2.覆盖父类构造函数的同时需要给出支持的媒体类型，我这里设定的是"application/x-protobuf"，这要求客户端在建立连接时设置同样的类型。如下：

URL target = new URL(url);     
HttpURLConnection conn = (HttpURLConnection) target.openConnection();         
conn.setRequestMethod("GET");     
conn.setRequestProperty("Content-Type", "application/x-protobuf");     
conn.setRequestProperty("Accept", "application/x-protobuf");

3.我的PBMessageConverter利用了泛型和反射机制，已经实现了所有PB对象的转换，没有与项目耦合的任何代码，如果需要的话可以直接copy去用，不用重写。
【其次】配置*-servlet.xml文件

<mvc:annotation-driven> 
    <mvc:message-converters> 
        <bean class="com.example.…保密….common.converter.PBMessageConverter" /> 
    </mvc:message-converters> 
</mvc:annotation-driven>

说明：这样就将PBMessageConverter注册到了springMVC的转换器列表中。注意这里需要引入springMVC的“mvc”命名空间。
【最后】controller中通过如下方式使用

@RequestMapping("connected") 
public void connected(@RequestBody UseClientInfo useClientInfo, HttpServletRequest request, HttpServletResponse response) throws IOException { 
    log.info(useClientInfo); 
} 

@ResponseBody 
@RequestMapping("get_useclientinfo") 
public UseClientInfo getUseClientInfo(HttpServletResponse response) throws IOException{ 
    UseClientInfo.Builder useClientInfoBuilder = UseClientInfo.newBuilder(); 
    ……业务逻辑略…… 
    return useClientInfoBuilder.build(); 
}

说明：
1.PB参数前加上@RequestBody注解，如果返回值是PB对象则加上@ResponseBody注解。

至此，我们的controller直接操作对象，再也不需要重复的进行流与对象的转换了。

【PB官网】：http://code.google.com/p/protobuf/

【博客A】：http://blog.csdn.NET/farmmer/article/details/2689049

【Hessian官网】：http://hessian.caucho.com/

【博客B】：http://blog.csdn.net/chenweitang123/article/details/6334097