Address Sanitizer定位内存问题

最新推荐文章于 2024-09-21 16:07:59 发布
最新推荐文章于 2024-09-21 16:07:59 发布
阅读量7.1k 收藏 19
点赞数 6

Address Sanitizer（ASan）是一个快速的内存错误检测工具。这里说明它的用法。

参考资料

AddressSanitizer
https://github.com/google/sanitizers/wiki/AddressSanitizer

1. 简介

Address Sanitizer（ASan）是一个快速的内存错误检测工具。它非常快，只拖慢程序两倍左右（比起Valgrind快多了）。它包括一个编译器instrumentation模块和一个提供malloc()/free()替代项的运行时库。

从gcc 4.8开始，AddressSanitizer成为gcc的一部分。当然，要获得更好的体验，最好使用4.9及以上版本，因为gcc 4.8的AddressSanitizer还不完善，最大的缺点是没有符号信息。

2. 使用步骤

  • 用-fsanitize=address选项编译和链接你的程序。
  • 用-fno-omit-frame-pointer编译，以得到更容易理解stack trace。
  • 可选择-O1或者更高的优化级别编译
gcc -fsanitize=address -fno-omit-frame-pointer -O1 -g use-after-free.c -o use-after-free

运行use-after-fee。如果发现了错误，就会打印出类似下面的信息：

==9901==ERROR: AddressSanitizer: heap-use-after-free on address 0x60700000dfb5 
  at pc 0x45917b bp 0x7fff4490c700 sp 0x7fff4490c6f8
READ of size 1 at 0x60700000dfb5 thread T0
    #0 0x45917a in main use-after-free.c:5
    #1 0x7fce9f25e76c in __libc_start_main /build/buildd/eglibc-2.15/csu/libc-start.c:226
    #2 0x459074 in _start (a.out+0x459074)
0x60700000dfb5 is located 5 bytes inside of 80-byte region [0x60700000dfb0,0x60700000e000)
freed by thread T0 here:
    #0 0x4441ee in __interceptor_free projects/compiler-rt/lib/asan/asan_malloc_linux.cc:64
    #1 0x45914a in main use-after-free.c:4
    #2 0x7fce9f25e76c in __libc_start_main /build/buildd/eglibc-2.15/csu/libc-start.c:226
previously allocated by thread T0 here:
    #0 0x44436e in __interceptor_malloc projects/compiler-rt/lib/asan/asan_malloc_linux.cc:74
    #1 0x45913f in main use-after-free.c:3
    #2 0x7fce9f25e76c in __libc_start_main /build/buildd/eglibc-2.15/csu/libc-start.c:226
SUMMARY: AddressSanitizer: heap-use-after-free use-after-free.c:5 main
  • 第一部分（ERROR）指出错误类型是heap-use-after-free；
  • 第二部分（READ）, 指出线程名thread T0，操作为READ，发生的位置是use-after-free.c:5。
    • 该heapk块之前已经在use-after-free.c:4被释放了；
    • 该heap块是在use-fater-free.c:3分配
  • 第三部分 (SUMMARY) 前面输出的概要说明。

3. 错误类型

3.1 (heap) use after free 释放后使用

下面的代码中，分配array数组并释放，然后返回它的一个元素。

  5 int main (int argc, char** argv)
  6 {
  7     int* array = new int[100];
  8     delete []array;
  9     return array[1];
 10 }

下面的错误信息与前面的“使用步骤”一节中的类似。

==3189==ERROR: AddressSanitizer: heap-use-after-free on address 0x61400000fe44 
at pc 0x0000004008f1 bp 0x7ffc9b6e2630 sp 0x7ffc9b6e2620
READ of size 4 at 0x61400000fe44 thread T0
    #0 0x4008f0 in main /home/ron/dev/as/use_after_free.cpp:9
    #1 0x7f3763aa882f in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x2082f)
    #2 0x4007b8 in _start (/home/ron/dev/as/build/use_after_free+0x4007b8)

0x61400000fe44 is located 4 bytes inside of 400-byte region [0x61400000fe40,0x61400000ffd0)
freed by thread T0 here:
    #0 0x7f3763ef1caa in operator delete[](void*) (/usr/lib/x86_64-linux-gnu/libasan.so.2+0x99caa)
    #1 0x4008b5 in main /home/ron/dev/as/use_after_free.cpp:8
    #2 0x7f3763aa882f in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x2082f)

previously allocated by thread T0 here:
    #0 0x7f3763ef16b2 in operator new[](unsigned long) (/usr/lib/x86_64-linux-gnu/libasan.so.2+0x996b2)
    #1 0x40089e in main /home/ron/dev/as/use_after_free.cpp:7
    #2 0x7f3763aa882f in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x2082f)

SUMMARY: AddressSanitizer: heap-use-after-free /home/ron/dev/as/use_after_free.cpp:9 main

3.2 heap buffer overflow 堆缓存访问溢出

如下代码中，访问的位置超出堆上数组array的边界。

  2 int main (int argc, char** argv)
  3 {
  4     int* array = new int[100];
  5     int res = array[100];
  6     delete [] array;
  7     return res;
  8 }

下面的错误信息指出：

  • 错误类型是heap-buffer-overflow
  • 不合法操作READ发生在线程T0, heap_buf_overflow.cpp:5
  • heap块分配发生在heap_buf_overflow.cpp
==3322==ERROR: AddressSanitizer: heap-buffer-overflow on address 0x61400000ffd0 
at pc 0x0000004008e0 bp 0x7ffeddce53a0 sp 0x7ffeddce5390
READ of size 4 at 0x61400000ffd0 thread T0
    #0 0x4008df in main /home/ron/dev/as/heap_buf_overflow.cpp:5
    #1 0x7f3b83d0882f in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x2082f)
    #2 0x4007b8 in _start (/home/ron/dev/as/build/heap_buf_overflow+0x4007b8)

0x61400000ffd0 is located 0 bytes to the right of 400-byte region [0x61400000fe40,0x61400000ffd0)
allocated by thread T0 here:
    #0 0x7f3b841516b2 in operator new[](unsigned long) (/usr/lib/x86_64-linux-gnu/libasan.so.2+0x996b2)
    #1 0x40089e in main /home/ron/dev/as/heap_buf_overflow.cpp:4
    #2 0x7f3b83d0882f in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x2082f)

SUMMARY: AddressSanitizer: heap-buffer-overflow /home/ron/dev/as/heap_buf_overflow.cpp:5 main

3.2 stack buffer overflow 栈缓存访问溢出

如下代码中，访问的位置超出栈上数组array的边界。

  2 int main (int argc, char** argv)
  3 {
  4     int array[100];
  5     return array[100];
  6 }

下面的错误信息指出：

  • 错误类型是stack-buffer-overflow
  • 不合法操作READ发生在线程T0, stack_buf_overflow.cpp:5
  • 栈块在线程T0的栈上432偏移位置上。
==3389==ERROR: AddressSanitizer: stack-buffer-overflow on address 0x7ffd061fa4a0 
at pc 0x0000004009ff bp 0x7ffd061fa2d0 sp 0x7ffd061fa2c0
READ of size 4 at 0x7ffd061fa4a0 thread T0
    #0 0x4009fe in main /home/ron/dev/as/stack_buf_overflow.cpp:5
    #1 0x7fbade4e882f in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x2082f)
    #2 0x400858 in _start (/home/ron/dev/as/build/stack_buf_overflow+0x400858)

Address 0x7ffd061fa4a0 is located in stack of thread T0 at offset 432 in frame
    #0 0x400935 in main /home/ron/dev/as/stack_buf_overflow.cpp:3

  This frame has 1 object(s):
    [32, 432) 'array' <== Memory access at offset 432 overflows this variable
HINT: this may be a false positive if your program uses some custom stack unwind mechanism or swapcontext
      (longjmp and C++ exceptions *are* supported)
SUMMARY: AddressSanitizer: stack-buffer-overflow /home/ron/dev/as/stack_buf_overflow.cpp:5 main

3.3 global buffer overflow 全局缓冲访问溢出

如下代码中，访问的位置超出全局数组array的边界。

  2 int array[100];
  3 
  4 int main (int argc, char** argv)
  5 {
  6     return array[100];
  7 }

下面的错误信息指出：

  • 错误类型是global-buffer-overflow
  • 不合法操作READ发生在线程T0, global_buf_overflow.cpp:6
  • 缓存块在global_buf_overflow.cpp:2 定义。
==3499==ERROR: AddressSanitizer: global-buffer-overflow on address 0x000000601270 
at pc 0x000000400915 bp 0x7ffd8e80c020 sp 0x7ffd8e80c010
READ of size 4 at 0x000000601270 thread T0
    #0 0x400914 in main /home/ron/dev/as/global_buf_overflow.cpp:6
    #1 0x7f613c1c882f in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x2082f)
    #2 0x400808 in _start (/home/ron/dev/as/build/global_buf_overflow+0x400808)

0x000000601270 is located 0 bytes to the right of global variable 'array' defined in 
'/home/ron/dev/as/global_buf_overflow.cpp:2:5' (0x6010e0) of size 400
SUMMARY: AddressSanitizer: global-buffer-overflow /home/ron/dev/as/global_buf_overflow.cpp:6 main

3.4 use after return

3.5 use after scope

3.6 initializations order bugs

3.7 memory leaks 内存泄露

检测内存的LeakSanitizer是集成在AddressSanitizer中的一个相对独立的工具，它工作在检查过程的最后阶段。

下面代码中，p指向的内存没有释放。

  4 void* p;
  5 
  6 int main ()
  7 {
  8     p = malloc (7);
  9     p = 0;
 10     return 0;
 11 }

下面的错误信息指出 detected memory leaks

  • 内存在mem_leak.cpp:8分配
  • 缓存块在global_buf_overflow.cpp:2 定义。
==4088==ERROR: LeakSanitizer: detected memory leaks

Direct leak of 7 byte(s) in 1 object(s) allocated from:
    #0 0x7ff9ae510602 in malloc (/usr/lib/x86_64-linux-gnu/libasan.so.2+0x98602)
    #1 0x4008d3 in main /home/ron/dev/as/mem_leak.cpp:8
    #2 0x7ff9ae0c882f in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x2082f)

SUMMARY: AddressSanitizer: 7 byte(s) leaked in 1 allocation(s).

目前，并不是所有的平台都默认检测内存泄露，可以指定ASAN_OPTIONS开启如下：

ASAN_OPTIONS=detect_leaks=1 yourapp

而且不是所有的平台支持检测内存泄露，比如ARM，就会得到这样的提示：

==1901==AddressSanitizer: detect_leaks is not supported on this platform.

4. 工作原理

4.1 概要说明

AddressSanitizer的运行时库替换malloc()/free()。分配缓存前后的空间标记为poisoned，已经被释放的缓存也被标记为poisoned。内存访问的代码都被编译器替换如下：

替换之前：

*address = ...;

替换之后：

if (IsPoisoned(address))
{
    ReportError(address, kAccessSize, kIsWrite);
}
*address = ...;

访问之前检查访问地址是否poisoned，如果是，报告错误。

4.2 memory mapping 和 instrumentation

进程的虚拟地址空间划分为两个不相连的部分：

  • main application memory (Mem)。这是程序自身代码使用的内存；
  • Shadow memory (Shadow)。这里放的是shadow value（meta data）。从Mem到Shadow之间有映射关系。将Mem的一个字节标记为poisoned，其实就是在对应的Shadow内存中写入指定值。

伪代码如下。它先从Mem中地址计算对应的Shadow地址。

shadow_address = MemToShadow (address);
if (ShadowIsPoisoned(shadow_address))
{
    ReportError (address, kAccessSize, kIsWrite);
}

4.3 mapping

Mem中的8字节映射到Shadow memory中是1字节。
这个字节可能有9种不同的值：

  • 所有8字节都是unpoisoned的，则值为0；
  • 所有8字节都是poisoned的，则值为负；
  • 前k字节为unpoisoned，后面8-k字节为poisoned， 则值为k。
    • malloc()分配的内存总是8字节的倍数，如果要分配的缓存不是8字节的倍数，则尾部的8个字节poisoned状态不同。比如分配13字节，会得到两个8字节。前1个全是unpoisoned，后一个只有前5个字节是unpoisoned，后3个字节是poisoned。

4.4 栈的处理

为了捕捉栈的访问溢出，AddressSanitizer在缓存前后加上保护区。这里可以看到设置对应Shadow memory的代码。

改编之前为：

void foo() 
{
  char a[8];
  ...
  return;
}

改编之后为：

void foo() 
{
  char redzone1[32];  // 32-byte aligned
  char a[8];          // 32-byte aligned
  char redzone2[24];
  char redzone3[32];  // 32-byte aligned
  int  *shadow_base = MemToShadow(redzone1);
  shadow_base[0] = 0xffffffff;  // poison redzone1
  shadow_base[1] = 0xffffff00;  // poison redzone2, unpoison 'a'
  shadow_base[2] = 0xffffffff;  // poison redzone3
  ...
  shadow_base[0] = shadow_base[1] = shadow_base[2] = 0; // unpoison all
  return;
}

4.5 malloc()/free()的处理

运行时库用自己的函数替换malloc() / free()。

  • malloc()在缓存前后分配保护区。缓存本身标记为unpoisoned，保护区标记为poisoned。
  • free() 将整个区域，包括缓存和保护区，都标记为poisoned，并将该区域放入一个特别的队列中，以保证malloc()在相当长的时间内不会再次使用它）。

上述都是直接就显示了代码的行数，实际很多时候都是库文件，需要通过addr2line命令工具来定位具体代码行数

addr2line -a -C -e libstagefright_omx.so  -f 00023808

addr2line -e libWebSocketProtocolWrapper.so 0x65679

地址内容就是asan输出信息的中的库+地址，这个libWebSocketProtocolWrapper.so+06679这个串中的地址

momo459548255
关注
为什么选择C/C++内存检测工具AddressSanitizer？如何使用AddressSanitizer？
dvlinker的技术专栏
09-13 2万+
为什么选择C/C++内存检测工具AddressSanitizer？如何使用AddressSanitizer？
AddressSanitizer，增强DPDK内存检测
weixin_60043341的博客
08-22 302
检测工具会检测进程中的所有位置，通过影子内存的状态值来存储真实内存中的每个字节的访问是否安全，这样的影子内存需要一大块连续的虚拟地址空间，如图1所示蓝色的影子区域（shadow region），在程序初始化的时候申请好这片空间。现有的DPDK已经有内存管理的机制，是通过检测可用内存前后区域是否被修改来判断是否越界，但是现有的DPDK实现只有在rte_free的时候才做内存检测，甚至发生内存问题的时候, 非常少且有效的调试信息输出来帮助定位问题，如果问题带有一定的随机性且很难重现，让人很崩溃。
c/c++动态检测内存错误利器 - ASan
weixin_42915431的博客
01-24 5399
ASan，即Address Sanitizer，是一个适用于c/c++的动态内存错误检测器，它由一个编译器检测模块（LLVM pass）和一个替换malloc函数的运行时库组成，在性能及检测内存错误方面都优于Valgrind。
c语言写leetcode的常见坑
qq_37189596的博客
10-31 4909
错误关键词1：runtime error: member access within misaligned address 0xbebebebebebebebe 常见原因：这一般是要访问某个变量，但是没有malloc，或者是你malloc的变量没有赋值的指针没有设置为NULL；不用的指针一定要设置为NULL！！！ 错误关键词2： 常见原因：如果提示是heap-buffer-o...
AddressSanitizer算法及源码解析_内存测试 address算法
最新发布
2401_87373733的博客
09-21 706
AddressSanitizer是Google用于检测内存各种buffer overflow(Heap buffer overflow, Stack buffer overflow, Global buffer overflow)的一个非常有用的工具。该工具是一个LLVM的Pass，现已集成至llvm中，要是用它可以通过-fsanitizer=address选项使用它。
Address Sanitizer
我的博客
09-18 1315
当然，要获得更好的体验，最好使用4.9及以上版本，因为gcc 4.8的AddressSanitizer还不完善，最大的缺点是没有符号信息。：HWASan则是ASan的升级版，它利用了64位机器上忽略高位地址的特性，将这些被忽略的高位地址重新利用起来，从而大大降低了工具对于CPU和内存带来的额外负载。检测内存的LeakSanitizer是集成在AddressSanitizer中的一个相对独立的工具，它工作在检查过程的最后阶段。它可以检测出各种类型的内存错误，包括越界读/写，使用后释放，使用前初始化等。
扒一扒使用AddressSanitizer进行native内存泄露分析踩过的坑
r_Jimy的专栏
05-08 1148
官方资料如下： https://developer.android.com/ndk/guides/asan#cmake 源码： 我使用的是AS4.1.3，创建一个native c++工程，在native-lib.cpp中敲入如下代码： #include <jni.h> #include <string> extern "C" JNIEXPORT jstring JNICALL Java_com_example_android_1native_1c_1plus_MainAc
[内存管理]之 用户态内存检测ASAN
keith_y的专栏
11-05 318
ASAN简介和示例
一次 ASAN 找不到 symbolizer 问题的分析与解决
tq08g2z的专栏
05-01 2690
AddressSanitizer（简称 ASAN）一直是一个检测分析 C/C++ 内存问题很方便的工具。WebRTC 工程集成了 ASAN，只要配置一个简单的选项即可对整个工程打开或关闭 ASAN，具体来说是 is_asan 选项。is_asan 选项的默认值为 false，在 args.gn 文件中写入 is_asan = true 行可以对整个工程打开 ASAN，在 args.gn 文件中写入 is_asan = false 行或者不配置 is_asan 选项可以对整个工程关闭 ASAN。 OpenRT
初探AddressSanitizer：内存错误检测工具简介
AddressSanitizer能够在运行时检测这些问题，帮助开发人员快速定位并解决内存错误。 ### 1.1 什么是AddressSanitizer AddressSanitizer是由Google开发的一种内存错误检测工具，最初用于C/C++程序，后来扩展到其他...
address-sanitizer.md
12-18
通过上述示例可以看出，Address Sanitizer 是一种非常有效的工具，可以帮助开发者快速发现并定位内存访问错误。对于开发高质量、稳定的软件系统而言，ASan 提供的强大支持至关重要。为了充分利用 ASan，建议开发者在...
AddressSanitizer检测内存错误的高级算法和数据结构
AddressSanitizer（ASan）是一种内存错误检测工具，旨在帮助开发人员检测和调试内存相关的错误，如缓冲区溢出、使用已释放内存等问题。 1.2 AddressSanitizer的原理和工作方式 AddressSanitizer通过在编译时插入...
ASAN和HWASAN原理解析
weixin_40563850的博客
07-01 3543
由于虚拟机的存在，Android应用开发者们通常不用考虑内存访问相关的错误。而一旦我们深入到Native世界中，原本面容和善的内存便开始凶恶起来。这时，由于程序员写法不规范、逻辑疏漏而导致的内存错误会统统跳到我们面前，对我们嘲讽一番。这些错误既影响了程序的稳定性，也影响了程序的安全性，因为好多恶意代码就通过内存错误来完成入侵。不过麻烦的是，Native世界中的内存错误很难排查，因为很多时候导致问题的地方和发生问题的地方相隔甚远。为了更好地解决这些问题，各路大神纷纷祭出自己手中的神器，相互PK，相互补充。AS
Sanitizers 系列之 address sanitizer 原理篇
netease_im的博客
11-02 927
本文主要介绍asan的算法，asan的各种优势本质上是源自于它的算法，本节的内容主要基于 asan 的论文 《AddressSanitizer: A Fast Address Sanity Checker 》。
泄漏崩溃问题调查（三）：崩溃
N_sev7的Blog
08-22 629
heap-buffer-overflow（越界访问） uint32_t val[10] = {0}; val[10] = 10; 一版造成这种问题的原因是访问了没有申请的内存，栈上的，或者堆上的。   heap-use-after-free（使用被释放的资源） 多线程： =======================================================...
Address Sanitizer（Asan）原理及相关GCC选项列表
热门推荐
勤学如春起之苗，不见其增，日有所长！ 辍学如磨刀之石，不见其损，日有所亏！
03-13 1万+
该工具由编译器检测模块和替换malloc函数的一个运行库组成 1.1 ASAN介绍 ASAN，也即地址消毒技术，通过编译插桩，能够发现此堆/栈/全局变量读写溢出，内存泄露等问题，并将信息直接打印到日志中。（内存泄露检测功能已支持BMC的arm32位平台）。 ASAN地址消毒与valgrind工具的比较： 悬空指针 堆缓冲区溢出 堆栈缓冲区溢出 全局缓冲区溢出 u...
安装VS2019以支持ASAN地址消毒
老中医的博客
07-01 1870
本文介绍如何在Windows平台使用Visual Studio 2019配置ASAN地址消毒器。
Address Sanitizer使用指南
IT
08-10 5157
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 Address Sanitizer使用 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as pd import matplotl
链表错误：AddressSanitizer: heap-use-after-free on address
weixin_42817333的博客
06-23 3457
ERROR: AddressSanitizer: heap-use-after-free on address 0x603000000258 at pc 0x00000037c6f5 bp 0x7ffea5071f90 sp 0x7ffea5071f88 READ of size 8 at 0x603000000258 thread T0 #3 0x7f3fea5be082 (/lib/x86_64-linux-gnu/libc.so.6+0x24082) 0x603000000258 is locate
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值