逆向工程原理H2 【二进制程序函数相似性比较】

最新推荐文章于 2024-05-12 23:18:38 发布
最新推荐文章于 2024-05-12 23:18:38 发布
阅读量1.7k 收藏 20
点赞数 32
文章标签： 网络安全 arm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_77729899/article/details/136606288
版权

目录

H2二进制程序函数相似性比较

  • 简称BCSD

  • 应用：相似漏洞检测，漏洞去重，软件抄袭检测，恶意软件检测

  • 本质：寻找变量中的不变量

    • 完全相等
    • 逻辑相似
    • 功能等价

我们可以将相似性检测的方案总结为以下步骤：

  1. 定义用于计算相似度的不变量
  2. 提取不变量
  3. 根据提取到的不变量计算相似度
逻辑相似

定义：相同的源代码产生相似的二进制代码

程序逻辑的表征：指令序列 & 程序结构

  • 指令序列
    • 由程序中指令组成的序列，通常逻辑相似的程序会有相似的指令序列
    • 如何提取指令序列？
      • 单条指令
      • 滑动窗口提取指令信息
      • 函数切片
        • 有数据流关系的指令切片，每次处理单元为包含多条指令的切片
        • 切片中的指令序列存在数据流依赖，上下文信息更加明确
  • 程序结构
    • 表征程序逻辑跳转、数据传递的数据结构
    • 逻辑相似的程序其控制流、数据流通常相似
    • 反映程序的逻辑：
      • CFG（Control Flow Graph）：控制流图
      • DFG（Data Flow Graph）:数据流图
    • 如何提取程序结构？
      • 使用二进制分析工具，例如IDA Pro、Ghidra、Ninja等可以直接构建CFG
      • 数据流图可以基于以上工具开发脚本，以静态/动态方式构建数据流图

如何比较程序结构的相似性？

  • 图同构
    • 若两个函数的CFG同构，则认为这两个函数相似
    • 图同构问题为NP完全问题，在实际应用时需要进行额外处理
      • 舍弃结果精确程度，使用贪心等时间复杂度可接受的算法
      • 限制图的节点数量，对多个子图进行匹配，反推完整图相似度
  • 执行路径相似度
    • 将图匹配转换为序列匹配
    • 执行路径如何提取？图上搜索 / 动态执行
  • 图嵌入
    • 使用AI训练CFG转换为特征向量的神经网络
    • 使用简单的特征向量计算相似度
功能相同

定义：程序逻辑看似完全不同，功能完全等价

之前方案有什么问题？

  • 认为 程序逻辑相似 == 功能相似
  • 但存在 程序逻辑相似，功能不等价；逻辑不相似，功能等价
  • 本质上缺少对程序功能的理解

如何表示程序功能（程序语义）？

  • API/System Call建模

    • **主要观察：**API/Syscall的语义不会随程序变化而变化
    • 缺点：不能用于判断功能是否等价

  • 输入/输出匹配

    • **主要观察：**语义相同的程序在有相同的输入时输出页相同
    • 缺点：很难测试所有的输入，只能判断两个程序片段大概率相似

  • 符号表达式

    • **主要观察：**语义相同的代码片段其符号表达式等价
    • 符号表达式为一个等式，其左边为输出变量，右边为输入变量以及逻辑操作
      • 假设w0符号变量为W0，运行指令后，w0为W0’ = (W0 << 1) | (W0 >> 1)
    • 如何使用符号表达式表征语义？
      • 以基本块为单位提取符号表达式
      • 在函数粒度提取函数返回值的符号表达式
      • 以执行路径为单位，提取使用了函数参数的符号表达式
    • 对于提取得到的符号表达式，使用符号表达式验证器计算表达式是否等价，或使用语义哈希和图距离计算的方法计算符号表达式句法相似性
    • 缺点：计算复杂度较高，难以直接应用到较大程序中
    小结

在这里插入图片描述

推荐阅读文章：

  1. Neural Network-based Graph Embedding for Cross-Platform Binary Code Similarity Detection CCS’17 （图嵌入、AI）
  2. BinSequence: Fast, Accurate and Scalable Binary Code Reuse Detection ASIA CCS’17 (LCS、图匹配)
超详细的 Python 方法、函数总结
Amo Xiang的博客
05-17 5万+
目录阅读前必读（不看会错过一个亿）一、字符串操作1.1 capitalize() 方法——字符串首字母转换为大写1.2 casefold() 方法——所有大写字符转换为小写1.3 center() 方法——字符串居中填充1.4 count() 方法——统计字符串出现次数1.5 encode() 方法——编码字符串1.6 decode() 方法——解码字符串1.7 endswith() 方法——是否以指定子字符串结尾、startswith() 方法1.8 find() 方法——字符串首次出现的索引位置(rfi
哈希指纹技术详解：从原理到应用
最新发布
AI天才研究院
04-27 95
哈希函数HHHHD→RHD→R其中DDD是可能的输入数据域，RRR是哈希值域，通常∣D∣≫∣R∣∣D∣≫∣R∣。哈希指纹技术通过将复杂数据转换为简短的数字摘要，实现了海量数据的高效比较和检索。从简单的文件校验到复杂的区块链系统，从文本查重到分布式存储去重，哈希指纹已经成为现代信息技术的基础设施之一。随着数据规模的不断增长和应用场景的多样化，哈希指纹技术将继续演化，应对新的挑战和需求。
【译】二进制代码相似性综述
qq_39898238的博客
08-24 4125
精读二进制代码相似性综述
带你了解几种二进制代码相似度比较技术
华为云官方博客
12-16 2611
摘要：二进制分析技术通常被用来对应用进行安全审计、漏洞检测等，通过分析学术界近20年发表的上百篇学术论文来分析二进制代码相似度比较都有采用了哪些具体技术，二进制代码相似度比较的技术挑战是什么，后续的研究方向是什么，希望此文能给做这方面技术研究人做参考。
[论文阅读] (27) AAAI20 Order Matters: 基于图神经网络的二进制代码相似性检测（腾讯科恩实验室）
杨秀璋的专栏
04-06 4079
《娜璋带你读论文》系列主要是督促自己阅读优秀论文及听取学术讲座，并分享给大家，希望您喜欢。前一篇文章介绍Excel论文可视化分析基础知识。这篇文章将带来AAAI20腾讯科恩实验室的经典工作——Order Matters，提出语义感知（Semantic-Aware）神经网络来实现二进制代码相似性检测，希望这篇文章对您有所帮助。一方面自己英文太差，只能通过最土的办法慢慢提升，另一方面是自己的个人学习笔记，并分享出来希望大家批评和指正。这些大佬是真的值得我们去学习，献上小弟的膝盖~fighting！
Awesome-Binary-Similarity:精选的二进制代码相似性论文列表
05-08
很棒的二进制相似度 标题 会场 年 纸 滑动 视频 Github TREX：从微迹中学习执行语义以实现二进制相似性 2020年 跨优化级别和混淆的二进制文件的相似性 ESORICS 2020 2020年 用于代码克隆检测的开源工具和基准：过去，现在和将来的趋势 2020年 语义查找具有混合键指令序列的类似二进制代码 2020年 LibDX：一种跨平台且准确的系统，用于检测二进制代码中的第三方库 2020年 使用图神经网络和流程增强的抽象语法树检测代码克隆 桑纳 2020年 您所看到的是什么意思！ 基于可视化和转移学习的代码语义表示学习 2020年 大型Scala代码库上的克隆检测 2020年 CloneCompass：代码克隆分析的可视化 2020年 DEEPBINDIFF：用于二进制比较的学习程序范围的代码表示形式 NDSS 2020年 VGraph：使用代码属性三元组的鲁棒易受攻
二进制代码相似度比较研究技术汇总
YINGETT的博客
09-01 475
【摘要】 二进制分析技术通常被用来对应用进行安全审计、漏洞检测等，通过分析学术界近20年发表的上百篇学术论文来分析二进制代码相似度比较都有采用了哪些具体技术，二进制代码相似度比较的技术挑战是什么，后续的研究方向是什么，希望此文能给做这方面技术研究人做参考。...
python 余弦相似性_图像检索系列——利用 Python 检测图像相似度
weixin_39814126的博客
01-24 1183
本文的代码可在微信公众号「01二进制」后台回复「检测图像相似度」获得。前言最近在做一个海量图片检索的项目，可以简单的理解为“以图搜图”，这个功能一开始是搜索引擎带火的，但是后来在电商领域变得非常实用。在制作这个图片检索的项目前，笔者搜索了一些资料，如今项目临近结尾，便在这里做一些简单的分享。本文先介绍图像检索最基础的一部分知识——利用 Python 检测图像相似度。提到检测“某某”的相似度相信很...
TensorFlow 2.0 深度学习实战 —— 详细介绍损失函数、优化器、激活函数、多层感知机的实现原理
风尘浪子
03-28 6689
本文主要介绍了 MSE、MAE、CEE 、Hinge、Huber 等 15 个常用损失函数的计算方式和使用场景，讲解 SGD、AdaGrad、Adam、RMSProp 4类优化器的公式原理，对阶跃激活函数、Sigmoid 激活函数、ReLU激活函数、Leaky ReLU 激活函数、Tanh 激活函数、Softmax激活函数等进行分析。通过分类与回归的使用实例对 MLP 多层感知器的使用进行介绍，对比 Tensorflow 1.x 与 Tensorflow 2.x 在应用上区别。最后，讲解如何使用 dropo
相似性搜索：第 7 部分--LSH 组合物
gongdiwudu的专栏
10-19 3877
在数据科学中，相似性搜索经常出现在 NLP 领域、搜索引擎或推荐系统中，其中需要检索最相关的文档或项目以进行查询。有多种不同的方法可以提高海量数据的搜索性能。
论文研究-二进制文件相似性检测技术对比分析.pdf
09-07
传统的文件相似性检测技术是基于源代码的，针对源代码难以获取的情况，二进制文件比对技术被提出并受到越来越多的关注。总结和分析了四种二进制文件相似性检测技术和主流的检测工具。在提出了二进制文件克隆比对的评价方法的基础上进行了实验测试。该方法针对二进制文件克隆的分类方式，设计了实验流程和相似度的计算标准。结果表明对于连续克隆，不影响调用关系的分割克隆，不影响基本块数量和调用关系的等价替换克隆，采用二进制文件相似性检测比采用基于token的源代码文件相似性检测能得到更准确的检测结果。
安全研究 # 二进制代码相似性检测综述
skysys的研究小屋
12-04 4476
本文参考： [1]方磊,武泽慧,魏强.二进制代码相似性检测技术综述[J].计算机科学,2021,48(05):1-8. (信息工程大学数学工程与先进计算国家重点实验室, 国家重点研发课题,北大核心)代码相似性检测常用于代码预测、知识产权保护和漏洞搜索等领域，可分为源代码相似性检测和二进制代码相似性检测。软件的源代码通常难以获得，因此针对二进制代码的相似性检测技术能够适用的场景更加广泛。根据关注的代码信息的不同，当前的二进制代码相似性检测技术分为4类：基于文本、基于属性度量、基于程序逻辑、基于语义的检测技术。
[论文分享] jTrans: Jump-Aware Transformer for Binary Code Similarity
fa1c4的blog
05-28 2379
paper jTrans
安全研究 # 课题：二进制成分分析(Binary SCA)
skysys的研究小屋
12-13 2621
从源代码编译生成二进制过程中，有很多有助于理解代码意图的信息会被丢失，比如：函数名称、变量名称、数据结构定义、变量类型定义、注释信息等；其次，为了更好的保护二进制代码的知识产权或最大程度的提升对二进制代码的理解难度，还会对二进制代码进行。计算相似性的常见方法（28种）是将一段二进制代码表示为向量或一组特征，使得类似的二进制代码具有相似的特征向量或特征集。最常见的是序列中的指令在虚拟地址空间中是连续的，属于同一函数。语义相似性是指所比较的代码是否具有类似的效果，而语法相似性则是指代码表示中的相似性。
【论文阅读笔记】关于“二进制函数相似性检测”的调研（Security 22）
Yuhan2001的CSDN博客
05-04 1557
[Security 22] 关于“二进制函数相似性检测”的调研（个人阅读笔记） 论文：《How Machine Learning Is Solving the Binary Function Similarity Problem》（Usenix Security 2022） 仓库：https://github.com/Cisco-Talos/binary_function_similarity
机器学习在二进制代码相似性分析中的应用
qq_43605222的博客
03-26 1022
如公式2所示，这是Gemini选定用来在Structure2vec模型中做非线性映射的模型，这个非线性映射的输入xv是节点的基本块属性信息，u∈N(v)是节点的邻接节点信息，经过映射可得到一个节点的特征向量，而整个ACFG特征向量是通过所有节点聚合得来。目前，总结来说就是，基础是Structure2vec模型中加入神经网络来训练其非线性变化的模型，再用聚合函数将ACFG节点的特征向量聚合成ACFG的图嵌入，结合神经网络的图嵌入最终输出的依然是ACFG图嵌入（也可以称为ACFG的特征向量）。
【论文阅读笔记】HermesSim（Code is not Natural Language） (Security 24)
Yuhan2001的CSDN博客
05-12 1381
论文：《Code is not Natural Language: Unlock the Power of Semantics-Oriented Graph Representation for Binary Code Similarity Detection》 仓库：https://github.com/NSSL-SJTU/HermesSim
两组声音的一维数据如何比较相似度_机器学习在二进制代码相似性分析中的应用...
weixin_39731271的博客
12-04 635
前言本文介绍了3篇二进制代码相似性分析的顶会技术，他们体现了二进制代码相似性分析中一些最先进的思想。第一篇是Genius技术，是在《基于神经网络图嵌入的跨平台二进制代码相似性检测》论文中作为对比技术介绍，它首次使用图嵌入这个机器学习的概念去做二进制代码相似性分析，它涉及到了聚类算法、图比对、密码本等技术，也为后两篇论文打下了基础。第二篇是Gemini技术，它使用了更先进的Structure2vec...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值