js逆向实战之某书protobuf反序列化

最新推荐文章于 2024-06-14 11:21:54 发布
置顶 最新推荐文章于 2024-06-14 11:21:54 发布
阅读量1.5k 收藏 7
点赞数
文章标签： javascript 开发语言 ecmascript
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jerry3747/article/details/132478000
版权

什么是Protobuf？


\qquad Protobuf（Protocol Buffer）是 Google 开发的一套数据存储传输协议，作用就是将数据进行序列化后再传输，Protobuf 编码是二进制的，它不是可读的，也不容易手动修改，因此它增加了分析或修改数据的难度。同时Protobuf 能够把数据压缩得很小，从而提高传输效率。通俗的理解就是Protobuf跟json序列化是类似的，只不过实现的方法不同而已。

安装Protobuf


\qquad 点击下载对应的版本，然后解压，并加入环境变量。
在这里插入图片描述

序列化与反序列化


\qquad Protobuf序列化需要开发人员在 .proto 文件中自定义消息格式，使用protobuf 编译器（protoc）选择需要的语言生成消息处理文件，也可以在 官网一键生成，用生成的文件就能进行序列化与反序列化。
\qquad 下面将举例说明如何通过js逆向来进行反序列化，目标网址：aHR0cHM6Ly93d3cueGlhb2hvbmdzaHUuY29tL2V4cGxvcmUvNjRkYzg2OGEwMDAwMDAwMDBhMDFiZDgz。
\qquad 打开目标网址，F12抓包，collect接口的请求参数是base64编码的，


解码后的数据是这样的，

춐]
6discovery-undefined0.0.00:
xhs-pc-webB3.5.2pm
 5bc331f43e6e73244d2b51c2999b1e02HyYjdqDYqjyF8yYjdqDYq2I24qyKAfI4WlxWh7idWx1y1vK28SqduD0888yW2yWj8DDiqd0qy"
61c3e3e9000000001000d0df*264dc868a000000000a01bd83p:B
$2cd55f67-ae5a-446a-9571-cb81e171d8360J167Xຊִx˅1BJ
$9bab7cd2-3eae-4469-9553-06cc2e5c8492oMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36<https://www.xiaohongshu.com/explore/64dc868a000000000a01bd83"/explore/:noteId*Lhttps://www.xiaohongshu.com/explore/64e19dc2000000000103c666?m_source=pinpaiZ"
64dc868a000000000a01bd83rlink

可以看出有一些乱码在里面，这个时候其实还无法判断是否用了protobuf序列化，一些网站可以查看协议头的content-type，如下图所示就是使用protobuf。
在这里插入图片描述
但是目标网站对序列化结果进行了base64编码，所以协议头的content-type跟正常的请求是一样的。

在这里插入图片描述
这种情况就得通过动态调试来看看这到底是什么玩意，查看调用堆栈，定位到可疑代码，在此处打上断点。
在这里插入图片描述
单步跟进去，图示位置打上断点。
在这里插入图片描述
单步跟进，来到关键位置，到这里特征就很明显了，”proto“、”serializeBinary“等关键字就是protobuf的显著特征。
在这里插入图片描述
接下来就可以根据源码中的规律来自定义proto文件，在此之前需要了解一下proto文件的语法格式以及数据类型，篇幅有限大佬们可以查看别的教程，本文只侧重逆向部分。

编写.proto文件


\qquad 如下图所示，目标网站的消息格式是一个Tracker消息里有很多的子消息，有APP、Mobile、Device等。
在这里插入图片描述
我们可以根据这个写出最外层的proto， 

syntax = "proto3";
package xhs;
message Tracker {
  repeated APP app = 1;
  repeated Mobile mobile = 2;
  repeated Device device = 3;
  repeated User user = 4;
  repeated Network network = 5;
  repeated Page page = 6;
  repeated Event event = 7;
  repeated Browser browser = 9;
  repeated NoteTarget noteTarget = 11;
  repeated NoteCommentTarget noteCommentTarget = 12;
  repeated TagTarget tagTarget = 13;
  repeated UserTarget userTarget = 14;
  repeated MallBannerTarget mallBannerTarget = 15;
  repeated MallGoodsTarget mallGoodsTarget = 16;
  repeated MallVendorTarget mallVendorTarget = 17;
  repeated MallCouponTarget mallCouponTarget = 18;
  repeated SearchTarget searchTarget = 30;
  repeated BrandingUserTarget brandingUserTarget = 40;
  repeated BrowserTarget browserTarget = 51;
  repeated ChannelTabTarget channelTabTarget = 100;
  repeated MessageTarget messageTarget = 151;
  repeated AdsTarget adsTarget = 152;
  repeated HeyTarget heyTarget = 153;
  repeated DebugTarget debugTarget = 154;
  repeated ActivityTarget activityTarget = 157;
  repeated LiveTarget liveTarget = 164;
  repeated CircleTarget circleTarget = 167;
  repeated GrowthPetTaskTarget growthPetTaskTarget = 195;
  repeated HideType hideType = 197;
  repeated WebTarget webTarget = 219;

}

然后单步进入proto.App.serializeBinaryToWriter，写出App的proto。
在这里插入图片描述

message APP {
  enum NameTracker {
    DEFAULT_1 = 0;
		IOST = 1;
		ANDRT = 2;
		RNT = 3;
		MPT = 4;
		WAPT = 5;
		WXMPT = 6;
		BDMPT = 7;
		TTMPT = 8;
		QQMPT = 9;
		APMPT = 10;
		MINI_ANDRT = 11;
  }
  NameTracker nameTracker = 1;
  string AppVersion = 2;
  string TrackerVersion = 3;
  string SessionId = 4;
  string AppMarket = 5;
  enum Platform {
    DEFAULT_13 = 0;
		IOS = 1;
		ANDROID = 2;
		REACTNATIVE = 3;
		MOBILEBROWSER = 4;
		WECHATBROWSER = 5;
		WECHATMINIPROGRAM = 6;
		PC = 7;
		IOSBROWSER = 8;
		ANDROIDBROWSER =  9;
		FLUTTER = 10;
  };
  Platform platform = 6;
  string ArtifactName = 7;
  string ArtifactVersion = 8;
  enum AppMode {
    app_mode = 0;
  };
  AppMode appMode = 9;
  string LaunchId = 10;
  string MpScene = 11;
  string AppStartMode = 12;
  string BuildVersion = 13;
  int32 EventSeqIdInSession = 14;
  bool DarkMode = 15;
  string StartupId = 16;
  enum Orientation {
    DEFAULT_60 = 0;
		PORTRAIT = 1;
		LANDSCAPE = 2;
		LANDSCAPE_SPLIT = 3;
		PORTRAIT_SPLIT = 4;
		PORTRAIT_SPLIT_MAGIC = 5;
		LANDSCAPE_SPLIT_MAGIC = 6;
		LANDSCAPE_MAGIC = 7;
		PORTRAIT_MAGIC = 8;
  };
  Orientation orientation = 17;
  string BuildId = 1001;
  string Package = 1002;
  string AppName = 1003;
  string SdkName = 1004;
  string SdkVersion = 1005;
  enum Environment {
    DEFAULT_64 = 0;
		ENVIRONMENT_DEVELOP = 1;
		ENVIRONMENT_RELEASE = 2;
  };
  Environment environment = 1006;
  int64 ColdStartId = 1007;
  bool IsTeenagerMode = 1008;
  string DeviceType = 1009;

}

enum 数据类型就是提前为字段预设定一些值，可以通过关键字搜索在源码中找到预设的值。
在这里插入图片描述
依葫芦画瓢就能写出完整的.proto文件，这个时候我们就可以生成任何语言的消息处理文件，以python为例，写好之后执行命令”protoc --python_out=. ./collect.proto“就会生成一个py文件，测试一下反序列化，

import base64
from utils import collect_pb2
a = 'jgXsthBdCjYIBRITZGlzY292ZXJ5LXVuZGVmaW5lZBoFMC4wLjAwBzoKeGhzLXBjLXdlYkIFMy41LjJwgwESABptCiA1YmMzMzFmNDNlNmU3MzI0NGQyYjUxYzI5OTliMWUwMooBSHlZamRxRFlxanlGOHlZamRxRFlxMkkyNHF5S0FmSTRXbHhXaDdpZFd4MXkxdksyOFNxZHVEMDg4OHlXMnlXajhERGlxZDBxeSIaChg2MWMzZTNlOTAwMDAwMDAwMTAwMGQwZGYqAggEMh0I+xcSGDY0ZGM4NjhhMDAwMDAwMDAwYTAxYmQ4MzpECiRjMThhYzliYS1mY2JiLTQ3YTYtOTMwOC1hMTM4MGVmZTQ1YzIgATAfSgMxMzFY4NOG49T0gAN4z8UBiALs1eGxojFKtQIKJDliYWI3Y2QyLTNlYWUtNDQ2OS05NTUzLTA2Y2MyZTVjODQ5MhJvTW96aWxsYS81LjAgKFdpbmRvd3MgTlQgMTAuMDsgV2luNjQ7IHg2NCkgQXBwbGVXZWJLaXQvNTM3LjM2IChLSFRNTCwgbGlrZSBHZWNrbykgQ2hyb21lLzExNS4wLjAuMCBTYWZhcmkvNTM3LjM2GjxodHRwczovL3d3dy54aWFvaG9uZ3NodS5jb20vZXhwbG9yZS82NGRjODY4YTAwMDAwMDAwMGEwMWJkODMiEC9leHBsb3JlLzpub3RlSWQqTGh0dHBzOi8vd3d3LnhpYW9ob25nc2h1LmNvbS9leHBsb3JlLzY0ZTE5ZGMyMDAwMDAwMDAwMTAzYzY2Nj9tX3NvdXJjZT1waW5wYWlaIgoYNjRkYzg2OGEwMDAwMDAwMDBhMDFiZDgzEAFyBGxpbms='
b = base64.urlsafe_b64decode(a)
tracker = collect_pb2.Tracker()
tracker.ParseFromString(b[4::])
print(tracker)

在这里插入图片描述
此时已经可以成功的反序列化了，需要特殊说明的是base解码的时候必须要用urlsafe_b64decode方法，因为原始数据里面有url，解码后的字节数据去掉了前面4个字节，因为在编码的时候在前面加了四个无用字节。
在这里插入图片描述

很多教程会说用fd抓包下载bin，然后命令行 protoc --decode_raw < 1.bin执行，解析protobuf数据结构，根据这个结构写proto，这种方法只适合大佬用，对于刚接触protobuf的人来说如果看到这种教程就会掉入无底深坑。
本文只用来交流学习，关键信息均已脱敏，如有侵权请联系删除。
欢迎大家进扣群交流学习：OTQwNDQ3ODg5

逆向三十六计
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
前端js实现protobuf序列化与反序列化
tdl320721的博客
10-16 1636
前端js实现protobuf序列化与反序列化！！！主要介绍如何在前端浏览器中使用protobuf进行对应的序列化与反序列化。
protobuf.js
qq_42179237的博客
04-26 5618
什么是protobuf 协议缓冲区提供了一种语言中立、平台中立、可扩展的机制，用于以向前兼容和向后兼容的方式序列化结构化数据。它类似于 JSON，只是它更小更快，并且生成本地语言绑定 protobuf解决了哪些问题 协议缓冲区为大小高达几兆字节的类型化结构化数据包提供了一种序列化格式。该格式适用于临时网络流量和长期数据存储 协议缓冲区是 Google 最常用的数据格式。它们广泛用于服务器间通信以及磁盘上数据的归档存储 ...
protobufjs
一条宝鱼的专栏
05-20 6002
protobufjs protobuf.js是一个纯JavaScript实现，支持Node.js和浏览器的TypeScript，它容易使用速度快速，可以直接反射.proto文件，不需要生成任何文件。 protobuf.js是基于ByteBuffer.js的Protocol Buffers纯JavaScript实现，主要功能是解析.proto文件，构建Message类，编码解码。 安装 下载安装protobufjs https://github.com/protobufjs/prot...
Protobuf 3.20.0版本前后JavaScript的用法区别
最新发布
u012903034的博客
06-14 578
Protobuf（Protocol Buffers）是一种高效的结构化数据序列化方法，广泛用于数据传输和存储。Google开发并维护Protobuf，持续发布更新以提升功能和性能。本文将详细介绍Protobuf在3.20.0版本前后在JavaScript中的用法区别，以及这些变化的原因和优点。
protobufjs入门小册
betty_grant的博客
06-21 1641
背景 protobuf是google提供的一个开源序列化框架，类似于XML，JSON这样的数据表示语言，其最大的特点是基于二进制，因此比传统的XML表示高效短小得多。虽然是二进制数据格式，但并没有因此变得复杂，开发人员通过按照一定的语法定义结构化的消息格式，然后送给命令行工具，工具将自动生成相关的类，可以支持php、java、c++、python等语言环境。通过将这些类包含在项目中，可以很轻松的调用相关方法来完成业务消息的序列化与反序列化工作。 1.protobuf.js protobuf.js是基于
js使用protobuf——支持web端交互使用
悦涵仙子的技术笔记本
08-28 4556
ProtoBuf简介 Protocol Buffer的简称。Google旗下的一款平台无关，语言无关，可扩展的序列化结构数据格式，适合用于数据存储，作为不同应用、语言之间相互通信的数据交换格式,序列化后的数据为二进制数据（pb格式的数据），类比XML、JSON。 protobuf最先支持C++ C# Go JAVA Python PHP语言，最近发布的代码包又支持了JavaScript，今天就来谈下，js怎么使用protobuf。 官网地址:https://developers.google.com/pro
Javascript中使用protobuf
first_shun的博客
10-03 5921
protobuf是由google推出的和语言无关和平台无关，可扩展的序列化数据结构协议，类似于XML，但是比XML更小、更快、更简单。protobuf几乎支持当前的大部分语言，当然也支持JavaScript。 JavaScript使用protobuf主要有如下几个步骤： 1、下载一个编译protobuf的js编译器。 https://github.com/protocolbu...
Unity 中使用Protobuf进行序列化和反序列化的Demo
01-27
本Demo将展示如何在Unity中集成并使用Protobuf进行数据的序列化和反序列化操作。 首先，你需要了解什么是序列化和反序列化。序列化是将对象的状态转换为可以存储或传输的数据格式的过程，而反序列化则是将这些数据...
protobuf序列化和反序列化技术
12-28
protobuf序列化和反序列化技术是大数据处理领域中不可或缺的一部分，尤其在实时大数据场景下，高效的数据传输和存储对性能有着直接影响。谷歌推出的Protocol Buffers（简称protobuf）是一种语言无关、平台无关的数据...
Google Protobuf基于Qt开发序列化与反序列化用QUdpSocket传输并显示。实例。
09-26
Google Protobuf基于Qt开发序列化与反序列化用QUdpSocket传输并显示。实例。 具体可查看了解:https://blog.csdn.net/automoblie0/article/details/101363526
protobuf常用序列化和反序列化API
06-29
**protobuf常用序列化和反序列化API** protobuf（Protocol Buffers）是Google开发的一种数据序列化协议，广泛应用于网络通信、数据存储等领域。它提供了一种高效、灵活且跨平台的方式来编码和解码结构化数据。...
在Unity5中Protobuf的序列化和反序列化
06-28
本篇文章将深入探讨在Unity5中如何使用Protocol Buffers（简称Protobuf）进行序列化和反序列化操作，以及它如何解决跨平台解析问题。 1. **什么是Protobuf？** Protocol Buffers是Google推出的一种高效的数据序列...
js 使用protobuf
热门推荐
qq_27119625的博客
11-06 2万+
之前写过node使用protobuf，这个算是综合一点吧。也涉及到前端页面的对protobuf的使用. google官方的ProtoBuf Protocol Buffers ，下载对应的版本，然后将路径加入环境变量，在终端输入protoc 出现下面即可： 添加proto文件：proto_person.proto，然后再终端对于目录下输入： protoc --js_out=import_s...
protobufjs使用教程，支持proto文件打包成typescript或javascript脚本
MccreeCaptain
03-07 2108
第二步，创建cocos新项目，在新项目根目录（assets同级目录）下打开命令行。第三步，在项目目录下新建 Proto 目录并定义几个 proto 文件。第六部，在项目目录打开命令行，安装pbjs和pbts。第七部，运行package.json中的两个脚本。第五部，在 package.json 中定义。即可在Protojs文件夹中生成需要的文件。第一步，安装nodejs。将文件导入工程中，即可在工程中引用。并将它写入项目目录下的。并将它写入项目目录下的。第四部，增加默认导出。
JavaScript实现Protobuf
weixin_45728126的博客
12-11 549
page=4。
Protobuf在js中使用过程
qq_43643112的博客
03-23 2743
Protobuf在js中使用过程 以前也是没有学过,学习了两天，今天算是第三天，主要是公司要考查我的学习能力，本来公司都已经有人封装好了，上面不让给我源码，让我自己找资料学习。这篇文章也是记录下这几天的学习成功了. 先说下缺点: new太多，添加数据必须使用set,麻烦 只讲解使用过程,理论CSDN上多的是 1.需要下载proto.exe,根据个人公司的需求，下载不同的版本 创建一个目录(目录名为demo),将下载好的proto.exe文件放置到根目录,然后创建一个proto文件(myproto.pro
php protobuf安装与前端js交互（三）：protoc生成PHP，js类库
林龙
03-24 930
啊
分享在Vue项目中对protobufjs的使用
专注前端技术，包括Web端、移动端、小程序、APP
06-05 894
研究了几天protobufjs，最开始总是被如何引入proto文件所困扰，总是报错，如果只是在html中引入proto文件，那么只需要引入protobuf对象，然后再把html运行在容器中即可。但是要在vue项目中使用，可没有这么容易了。因为vue没办法处理proto文件，需要引入loader对其处理。
JS逆向案例-万方的protobuf逆向解析
m0_67391270的博客
03-08 1119
目录 一、Protobuf的特征 二、Protobuf的解析思路流程 三、推荐文章 一、Protobuf的特征 案例网址 ① Protocol buffers是一种语言无关、平台无关、可扩展的序列化结构数据的方法；严格说不算是加密，只能是叫序列化结构数据，让可读变为疑似的乱码 ① 请求头里明显有提示，媒体类型是proto，content-type: application/grpc-web+proto ② 参数或者响应被序列化：呈现乱码格式0B，无论请求参数还是
C++ protobuf 反序列化
05-27
C++ protobuf 反序列化可以通过以下步骤实现： 1. 定义 protobuf 数据类型和消息 首先，你需要定义你的 protobuf 数据类型和消息。你可以使用 `proto` 文件来定义它们，然后使用 `protoc` 工具生成 C++ 代码。 2. 序列化 protobuf 数据 在你的应用程序中，你需要将数据序列化为 protobuf 格式。你可以使用 `SerializeToString()` 方法将 protobuf 数据对象序列化为字符串。例如，如果你有一个名为 `person` 的 protobuf 数据对象，那么可以使用以下代码将其序列化为字符串： ```cpp std::string serialized_data; person.SerializeToString(&serialized_data); ``` 3. 反序列化 protobuf 数据 接下来，你需要将序列化的字符串反序列化为 protobuf 数据对象。你可以使用 `ParseFromString()` 方法将字符串反序列化为 protobuf 数据对象。例如，如果你有一个名为 `person` 的 protobuf 数据对象，并且它已经被序列化为字符串 `serialized_data`，那么可以使用以下代码将其反序列化为 `person` 对象： ```cpp person.ParseFromString(serialized_data); ``` 注意，反序列化方法需要一个字符串作为输入参数，这个字符串应该是序列化后的 protobuf 数据。 以上就是 C++ protobuf 反序列化的基本步骤。你需要了解更多的 protobuf API 和 C++ 语言知识来实现你的应用程序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

逆向三十六计

赏个馒头，吃饱了才有力气搬砖哦

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值