花生日记基础架构建设

最新推荐文章于 2023-02-08 17:04:28 发布
最新推荐文章于 2023-02-08 17:04:28 发布
阅读量694 收藏
点赞数 2
文章标签： java 测试工具 spring boot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tq02h2a/article/details/102458812
版权
  • 简要介绍

 

在工程中，我们采用protobuf V3和SpringBoot搭建服务化体系，我们需要一个基于protobuf协议的辅助工具提升效率。我们提供服务级别和方法级别的文档注解，在工程编译期间产生文档数据，利用这些文档数据生成在线文档和接口测试界面，同时提供在线协议编辑器，编译工具，打包和上传SDK到repository等，同时将中台自动化测试用例挂在daily loadbuild的task中，每天定时执行。中台能力建设的核心是围绕Protobuf协议的两个注解，下面会做介绍。

  • 注解实现代码

GitHub - gilbertwang1981/idl-doc-generator: 基于protobuf V3协议的一套注解，能够辅助实现在线文档以及在线测试界面

  • 使用实例如下：

引入依赖包；

compile('com.hs:idl-doc-generator:0.0.4')

在SpringBoot的接口文件中使用文档类注解和方法注解；

@DocService(module = "分布式计划任务调度中心管理接口", service = "dschedule-service", value = "/dsch")
public interface DSchServiceInterface {
    @DocMethod(desc = "【任务端】调度器节点注册", method = { DocRequestMethod.POST }, name = "/registerNode", 
				produces = { "application/x-protobuf" }, 
				parameterType = DSchRegisterNodeRequest.class , parameterTypeIdl = "DSchAdminProto.proto", 
				returnType = DSchRegisterNodeResponse.class, returnTypeIdl = "DSchAdminProto.proto")
    public DSchRegisterNodeResponse registerNode(DSchRegisterNodeRequest request);
}

设置环境变量；

# 文档数据将被保存在/root/test/dschedule-service文件中

export DOC_GEN_PATH="/root/test"
export DOC_GEN_PROJECT="dschedule-service"

编译工程，生成文档数据，json格式；

{
	"project": "doc-gen",
	"services": [{
		"service": "dschedule-service",
		"module": "分布式计划任务调度中心管理接口",
		"value": "/dsch",
		"version": "1.0",
		"methods": [{
			"name": "/registerNode",
			"method": ["POST"],
			"produces": ["application/x-protobuf"],
			"desc": "【任务端】调度器节点注册",
			"version": "1.0",
			"parameterClassName": "com.hs.dsch.proto.DSchAdminProto.DSchRegisterNodeRequest",
			"returnClassName": "com.hs.dsch.proto.DSchAdminProto.DSchRegisterNodeResponse",
			"parameterTypeIdl": "DSchAdminProto.proto",
			"returnTypeIdl": "DSchAdminProto.proto",
			"parameterDeclare": {
				"host": "java.lang.Object",
				"serviceName": "java.lang.Object",
				"desc": "java.lang.Object"
			},
			"resultDeclare": {
				"resCode": "int",
				"nodeId": "java.lang.Object"
			}
		}, {
			"name": "/registerJob",
			"method": ["POST"],
			"produces": ["application/x-protobuf"],
			"desc": "【任务端】调度器节点任务注册",
			"version": "1.0",
			"parameterClassName": "com.hs.dsch.proto.DSchAdminProto.DSchRegisterJobRequest",
			"returnClassName": "com.hs.dsch.proto.DSchAdminProto.DSchRegisterJobResponse",
			"parameterTypeIdl": "DSchAdminProto.proto",
			"returnTypeIdl": "DSchAdminProto.proto",
			"parameterDeclare": {
				"jobName": "java.lang.Object",
				"strategy": {
					"cron": "java.lang.Object",
					"fixedDelay": "long",
					"fixedRate": "long",
					"initialDelay": "long"
				},
				"nodeId": "java.lang.Object"
			},
			"resultDeclare": {
				"jobId": "java.lang.Object",
				"resCode": "int",
				"nodeId": "java.lang.Object"
			}
		}, {
			"name": "/getJobStatus",
			"method": ["POST"],
			"produces": ["application/x-protobuf"],
			"desc": "【管理端】获取任务状态",
			"version": "1.0",
			"parameterClassName": "com.hs.dsch.proto.DSchAdminProto.DSchJobStatusRequest",
			"returnClassName": "com.hs.dsch.proto.DSchAdminProto.DSchJobStatusResponse",
			"parameterTypeIdl": "DSchAdminProto.proto",
			"returnTypeIdl": "DSchAdminProto.proto",
			"parameterDeclare": {
				"jobId": "java.lang.Object",
				"nodeId": "java.lang.Object"
			},
			"resultDeclare": {
				"resCode": "int",
				"job": {
					"jobId": "java.lang.Object",
					"beginTime": "long",
					"endTime": "long"
				}
			}
		}, {
			"name": "/getNodeStatus",
			"method": ["POST"],
			"produces": ["application/x-protobuf"],
			"desc": "【管理端】获取节点状态",
			"version": "1.0",
			"parameterClassName": "com.hs.dsch.proto.DSchAdminProto.DSchNodeStatusRequest",
			"returnClassName": "com.hs.dsch.proto.DSchAdminProto.DSchNodeStatusResponse",
			"parameterTypeIdl": "DSchAdminProto.proto",
			"returnTypeIdl": "DSchAdminProto.proto",
			"parameterDeclare": {
				"nodeId": "java.lang.Object"
			},
			"resultDeclare": {
				"node": {
					"activeThreads": "long",
					"mem": "long",
					"cpu": "long",
					"updateTime": "long",
					"nodeId": "java.lang.Object"
				},
				"resCode": "int"
			}
		}, {
			"name": "/jobHealthCheck",
			"method": ["POST"],
			"produces": ["application/x-protobuf"],
			"desc": "【任务端】任务健康检查",
			"version": "1.0",
			"parameterClassName": "com.hs.dsch.proto.DSchAdminProto.DSchJobHealthCheckRequest",
			"returnClassName": "com.hs.dsch.proto.DSchAdminProto.DSchJobHealthCheckResponse",
			"parameterTypeIdl": "DSchAdminProto.proto",
			"returnTypeIdl": "DSchAdminProto.proto",
			"parameterDeclare": {
				"job": {
					"jobId": "java.lang.Object",
					"beginTime": "long",
					"endTime": "long"
				},
				"nodeId": "java.lang.Object"
			},
			"resultDeclare": {
				"resCode": "int"
			}
		}, {
			"name": "/nodeHealthCheck",
			"method": ["POST"],
			"produces": ["application/x-protobuf"],
			"desc": "【任务端】节点健康检查",
			"version": "1.0",
			"parameterClassName": "com.hs.dsch.proto.DSchAdminProto.DSchNodeHealthCheckRequest",
			"returnClassName": "com.hs.dsch.proto.DSchAdminProto.DSchNodeHealthCheckResponse",
			"parameterTypeIdl": "DSchAdminProto.proto",
			"returnTypeIdl": "DSchAdminProto.proto",
			"parameterDeclare": {
				"node": {
					"activeThreads": "long",
					"mem": "long",
					"cpu": "long",
					"updateTime": "long",
					"nodeId": "java.lang.Object"
				},
				"nodeId": "java.lang.Object"
			},
			"resultDeclare": {
				"resCode": "int"
			}
		}, {
			"name": "/getCommand",
			"method": ["POST"],
			"produces": ["application/x-protobuf"],
			"desc": "【任务端】获取调度器任务命令",
			"version": "1.0",
			"parameterClassName": "com.hs.dsch.proto.DSchAdminProto.DSchCommandRequest",
			"returnClassName": "com.hs.dsch.proto.DSchAdminProto.DSchCommandResponse",
			"parameterTypeIdl": "DSchAdminProto.proto",
			"returnTypeIdl": "DSchAdminProto.proto",
			"parameterDeclare": {
				"jobId": "java.lang.Object",
				"nodeId": "java.lang.Object"
			},
			"resultDeclare": {
				"nodeId": "java.lang.Object",
				"command": {
					"jobId": "java.lang.Object",
					"cmdType": "int"
				}
			}
		}, {
			"name": "/addCommands",
			"method": ["POST"],
			"produces": ["application/x-protobuf"],
			"desc": "【管理端】添加调度器任务命令",
			"version": "1.0",
			"parameterClassName": "com.hs.dsch.proto.DSchAdminProto.DSchAddCommandRequest",
			"returnClassName": "com.hs.dsch.proto.DSchAdminProto.DSchAddCommandResponse",
			"parameterTypeIdl": "DSchAdminProto.proto",
			"returnTypeIdl": "DSchAdminProto.proto",
			"parameterDeclare": {
				"cmds": [{
					"jobId": "java.lang.Object",
					"cmdType": "int"
				}],
				"nodeId": "java.lang.Object"
			},
			"resultDeclare": {
				"resCode": "int"
			}
		}, {
			"name": "/offlineNode",
			"method": ["POST"],
			"produces": ["application/x-protobuf"],
			"desc": "【管理端】节点下线",
			"version": "1.0",
			"parameterClassName": "com.hs.dsch.proto.DSchAdminProto.DSchOfflineNodeRequest",
			"returnClassName": "com.hs.dsch.proto.DSchAdminProto.DSchOfflineNodeResponse",
			"parameterTypeIdl": "DSchAdminProto.proto",
			"returnTypeIdl": "DSchAdminProto.proto",
			"parameterDeclare": {
				"nodeId": "java.lang.Object"
			},
			"resultDeclare": {
				"resCode": "int"
			}
		}, {
			"name": "/onlineService",
			"method": ["POST"],
			"produces": ["application/x-protobuf"],
			"desc": "【管理端】服务上线",
			"version": "1.0",
			"parameterClassName": "com.hs.dsch.proto.DSchAdminProto.DSchOnlineServiceRequest",
			"returnClassName": "com.hs.dsch.proto.DSchAdminProto.DSchOnlineServiceResponse",
			"parameterTypeIdl": "DSchAdminProto.proto",
			"returnTypeIdl": "DSchAdminProto.proto",
			"parameterDeclare": {
				"serviceName": "java.lang.Object"
			},
			"resultDeclare": {
				"resCode": "int"
			}
		}, {
			"name": "/offlineService",
			"method": ["POST"],
			"produces": ["application/x-protobuf"],
			"desc": "【管理端】服务下线",
			"version": "1.0",
			"parameterClassName": "com.hs.dsch.proto.DSchAdminProto.DSchOfflineServiceRequest",
			"returnClassName": "com.hs.dsch.proto.DSchAdminProto.DSchOfflineServiceResponse",
			"parameterTypeIdl": "DSchAdminProto.proto",
			"returnTypeIdl": "DSchAdminProto.proto",
			"parameterDeclare": {
				"serviceName": "java.lang.Object"
			},
			"resultDeclare": {
				"resCode": "int"
			}
		}, {
			"name": "/cleanNode",
			"method": ["POST"],
			"produces": ["application/x-protobuf"],
			"desc": "【管理端】清理节点",
			"version": "1.0",
			"parameterClassName": "com.hs.dsch.proto.DSchAdminProto.DSchNodeCleanRequest",
			"returnClassName": "com.hs.dsch.proto.DSchAdminProto.DSchNodeCleanResponse",
			"parameterTypeIdl": "DSchAdminProto.proto",
			"returnTypeIdl": "DSchAdminProto.proto",
			"parameterDeclare": {
				"nodeId": "java.lang.Object"
			},
			"resultDeclare": {
				"resCode": "int"
			}
		}, {
			"name": "/cleanJob",
			"method": ["POST"],
			"produces": ["application/x-protobuf"],
			"desc": "【管理端】清理任务",
			"version": "1.0",
			"parameterClassName": "com.hs.dsch.proto.DSchAdminProto.DSchJobCleanRequest",
			"returnClassName": "com.hs.dsch.proto.DSchAdminProto.DSchJobCleanResponse",
			"parameterTypeIdl": "DSchAdminProto.proto",
			"returnTypeIdl": "DSchAdminProto.proto",
			"parameterDeclare": {
				"jobId": "java.lang.Object",
				"nodeId": "java.lang.Object"
			},
			"resultDeclare": {
				"resCode": "int"
			}
		}]
	}]
}

利用生成的数据可以将文档可视化，文档数据结构解释如下：

  1. 一个project包含多个service，每个service包含多个method；

  2. project，service以及method有一些属性用于描述自身；

  3. method包含两个主要的成员，一个是入参类型以及该类型的成员（标签为parameterDeclare），一个是出参类型以及类型成员（标签为resultDeclare）。

将json描述的对象转换成protobuf的Message.Builder对象，可以实现在线自动化测试；

	public static void main(String [] args) throws Exception {
		String jsonString = "{\"userId\":564343,\"data\":\"你好\",\"test\":"
				+ "{\"index\":4567,\"test0\":{\"p0\":11111,\"p1\":\"hello world,12434\"},"
				+ "\"tests0\":[{\"p0\":11111,\"p1\":\"hello world,11111\"},{\"p0\":2222,\"p1\":\"hello world,22222\"}]},"
				+ "\"ts0\":[{\"p0\":11111,\"p1\":\"hello world,12434\"}],\"et\":1}";

		// 转换
		Builder builder = new IDLObjectDeserializer().deserialize("com.hs.cart.proto.CartServiceProto.CartRequest", jsonString);
		
		byte [] data = builder.build().toByteArray();
		System.out.println("数据长度：" + data.length);
		
		// 验证
		CartRequest.Builder vbuilder = (CartRequest.Builder)builder;
		System.out.println(vbuilder.getData() + "/" + vbuilder.getEtValue() + "/" + vbuilder.getUserId());
		for (Test0 test0 : vbuilder.getTs0List()) {
			System.out.println(test0.getP0() + "/" + test0.getP1());
		}
		
		for (Test0 test0 : vbuilder.getTest().getTests0List()) {
			System.out.println(test0.getP0() + "/" + test0.getP1());
		}
		
		System.out.println(vbuilder.getTest().getIndex());
	}

清风1981
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
requestmapping 参数没设置好 导致返回的protobuf解析报错
学习天地
06-13 2061
背景：使用protobuf2做与前端的数据交互，自己用junit测试的时候没问题，但是前端人员访问接口，总是报错： com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag. 刚开始以为是protobuf jar包版本不一致导致的问题，...
基于http的protobuf服务实现
赶路人儿
10-11 2121
本文介绍在http协议中，使用protobuf格式进行通信。借助了springboot框架，指定http的Content-Type值为application/x-protobuf
记一次produces引发的404
luyee2010的专栏
09-02 563
发现有个服务快应用过来的请求突然都404(no mapping found)了，但是自己用postman调或者浏览器都正常 开始怀疑是url中有乱码，加了个Filter， 这个是正常的，参数什么的也正常，按理是一样的 最后实在没招了，想到可能是Header的问题，如果打印出所有的Header，对比快应用与postman的请求 请求头Accept跟请求消息体Content-type居然都是application/x-protobuf, 而自己的@RequestMapping又设置了prod..
抓包protobuf反解析
skillart的专栏
09-06 1万+
在抓一个app的包的时候发现http的Content-type竟然是application/x-protobuf，第一次遇到这种。网上也有不少问关于这方面的，或许有人已经研究出来了，但是不肯放干货啊。只能自己探索了。 首先我用的抓包工具是Charles，抓包是能看到内容的。Charles本身是用java写的，所以很容易看到源代码。在com.xk72.charles.gui.transaction...
浏览器抓包抓到 application/x-protobuffer 请求，解析加密包方法
qq_42709514的博客
02-27 5178
在搞某某平台是遇到了application/x-protobuffer协议的加密请求包，发现浏览器抓包解析不了这个数据，通过各种资料查询通过一种繁杂的方式解决了 Protocol Buffer是个什么东东？ Protocol Buffer是Google提供的一种数据序列化协议，下面是我从网上找到 的Google官方对protobuf的定义： Protocol Buffers 是一种轻便高效的结构化数据存储格式，可以用于结构化数据序列化，很适合做数据存储或 RPC 数据交换格式。它可用于通讯协议、数据存储等
花生日记商业模式分析.docx
12-30
《花生日记商业模式分析》 花生日记，作为一款基于淘宝联盟的APP，其实质是淘宝客模式的一种创新应用。淘宝客模式的核心在于商家、推广者与消费者的共赢关系。商家通过提供佣金，鼓励推广者帮助销售商品，而消费者...
花生日记APP官网网站模板源码
02-21
【花生日记APP官网网站模板源码】是一个用于构建与花生日记官方应用程序网站相似的网页设计资源。这个源码提供了完整的HTML结构和样式，帮助开发者快速搭建一个与官方一致的展示平台。以下是对该源码包含的关键知识...
花生日记定制开发 2019.9.23.docm
09-23
花生日记模式定制开发，花生日记系统源码APP定制开发，花生日记APP软件客户端开发，花生日记淘客商城模式开发，花生日记APP系统平台搭建，花生日记零售模式开发，花生日记运营模式及操作流程分享。
花生日记粉象生活美逛APP官网网站模板源码
08-12
《构建社交电商网站：以“花生日记粉象生活美逛APP”为例》 在互联网时代，社交电商平台凭借其独特的用户交互与分享机制，成为众多创业者和商家关注的焦点。"花生日记"、"粉象生活"和"美逛"就是其中颇具代表性的...
PHP仿花生日记官网源码(前后端分离)
03-01
模板介绍 仿花生日记官网源码仿好省官网仿蜜源官网源码+前后端分离+带独立后台可修改前端内容 图片截图
java通用注解API
10-06
在开发的过程中，用到的可以看下，建议大家可以下载来看下
SpringBoot使用protobuf格式的接口
meser88的博客
11-05 4961
建立SpringBoot项目,pom.xml内容如下: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://ma
【初学者】SDK的理解（客户端SDK和服务器端SDK）
Bearbee_的博客
02-08 9627
SDK是指一种软件开发工具包，是数据采集的必备工具，英文为“Software Development Kit”。本质上它其实是一些接口API的文件集合，为某个应用程序提供服务。也可以理解为应用开发者通过接入这些文件，并调用里面的相关接口，即可采集相应数据。因为SDK的大小一定程度上会影响应用程序性能，所以尽量轻量处理，占内存大多在几百K和几兆之间。
charles 怎么抓包不了了_抓包+逆向app分析protobuf
weixin_39541844的博客
11-27 1355
万事俱备，只欠东风。前面的实验环境已经搭好了。下面来抓包分析下，看看protobuf协议在抓包软件上长什么样子。首先明确我们的目标。我们的最终目标是还原proto文件，有了这个文件，我们就能对数据做序列化和反序列化，最终用python请求和解析数据。1.抓包分析拿到一款app(前面的demo)，首先抓包如果协议头是application/x-protobuf，那么charles可以大致解...
protobuf v3测试
热门推荐
menggucaoyuan的专栏
02-07 1万+
谷歌最近发布了v3版本的protobuf，以前的protobuf被称之为v2，二者之间的区别其特点见我上一篇blog《protobuf一些注意事项》。     个人以为v3要比v2好处就在于：简洁，且二者的新版本都共同支持了新的数据类型：map。相比v2，它去掉了required等选项，只保留了repeated选项，还添加了时间等比较常用的数据类型（当然暂时还没有实现）等等。唯一的缺点就是，v3
基于http协议使用protobuf进行前后端交互
weixin_34417814的博客
02-15 1682
protobuf介绍 由于网上关于protobuf的交互的资料比较零散，所以自己整理了一下关于protobuf前后端交互的资料，以作参考。 Google Protocol Buffers 简称 Protobuf，它提供了一种灵活、高效、自动序列化结构数据的机制，可以联想 XML，但是比 XML 更小、更快、更简单。仅需要自定义一次你所需的...
关于基线版本
你好，旧时光！
01-21 5153
在我经历的工作中，基线版本是必不可少的。基本上是完成某一阶段的开发时，就会对项目版本打上Label作为基线版本。那版本要怎样才算是基线版本呢？下面说下我的想法。 　　（1）相对于其他的版本来说，基线版本必须是稳定状态的，并且是已通过测试的。因为基线是以后版本开发的基础，可以为个性化和定制化开发提供一个稳定的开发版本。 　　（2）基线版本必须是可运行的，因为如果一个不可运行的基线版本如何为后续的
服务网格与微服务SDK双模架构在华为云的实践
微服务技术与实践专栏
07-22 731
读者需具备基础： - 已对微服务有一定实践经验，使用过一种以上的微服务开发框架 - 对 Service Mesh 有一定理解，知道他是什么，运作机制，可以通过我过去的分享来了解[Service Mesh 在华为公有云的实践](https://gitbook.cn/books/5a1e7dca387c5b4ee351790b/index.html) 话题范围： - 不会讨论灰度发布，限流，熔断，负载均衡等微服务实现技术，这些 ServiceComb 全部都拥有 - ServiceComb 包含微服务开发
花生日记app双端原生 开源原生态可运营csdn
最新发布
10-29
花生日记是一款双端原生应用，支持在不同的平台上运行。它通过使用原生开发技术，可以在iOS和安卓系统上顺利运行，提供流畅的用户体验。 开源原生态意味着花生日记的源代码可以被公开查看和使用，这为开发者们提供了一个自由学习和定制的机会。任何人都可以通过阅读、修改甚至分享源代码来适应自己的需求。开源还有助于社区的形成，开发者们可以互相交流经验，共同完善和改进应用。 花生日记还可以通过CSDN等平台进行运营。CSDN是国内领先的IT技术社区，拥有庞大的开发者用户群体。在CSDN上进行运营可以增加用户曝光率，吸引更多的开发者和用户注意到花生日记。在CSDN上分享技术文章、回答用户疑问，还可以提高用户对花生日记的信任度和忠诚度。 总之，花生日记作为一款双端原生开源应用，具备了良好的用户体验和开发自由度。通过在CSDN等平台进行运营，可以吸引更多的用户和开发者，推动应用的发展和壮大。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值