Linux下hook机制的注意事项

在使用Linux的hook机制时需要注意在调dlsym的时 里面不能掉用涉及malloc的函数，否则会造成死循环栈溢出

若使用了将会报下面的错

Segmentation fault (core dumped)

以下是测试代码，本来想在函数中使用printf函数进行打印一句话证明进入了自己所编写的库函数，但是发现使用printf时会申请一个临时的缓冲区从而导致了死循环栈溢出；后面改成使用write函数直接写到io
my_hook.c

/*
 *
 * 测试linux hook机制;，编译成.so 文件后改变默认的系统调用
 * 
 * */
#define _GNU_SOURCE
#include <stdio.h>
#include <stdint.h>
#include <dlfcn.h>
#include <string.h>
#include <unistd.h>

#define unlikely(x) __builtin_expect(!!(x), 0) 	//代表x为false的可能性更大
#define TRY_LOAD_HOOK_FUNC(name) if (unlikely(!g_sys_##name)) {g_sys_##name = (sys_##name##_t)dlsym(RTLD_NEXT, #name);}

typedef void* (*sys_malloc_t)(size_t size);
static sys_malloc_t g_sys_malloc = NULL;
void* malloc(size_t size)
{
        write(1, "enter malloc so\n", 20);
        TRY_LOAD_HOOK_FUNC(malloc);
        int *p = g_sys_malloc(size);
        
        return p;

}

typedef void (*sys_free_t)(void *ptr);
static sys_free_t g_sys_free = NULL;
void free(void *ptr)
{
        write(1, "enter free so\n", 20);
        TRY_LOAD_HOOK_FUNC(free);
        g_sys_free(ptr);
}

main.c

#include <stdio.h>
#include <malloc.h>
#include <stdlib.h>
#include <string.h>

int main()
{
        printf("enter main...\n");

        int *p = (int *)malloc(10);
        if (!p)
        {
                printf("allocation error...\n");
                exit(1);
        }
        printf("returning to main...\n");

        free(p);
       return 0;
}
      

编译命令：

1.将my_hook.c文件制作成动态库
gcc -DRUMTME -fPIC -shared -o libmyhook.so my_hook.c -ldl

2.编译并链接生成的库
gcc -o main main.c ./libmyhook.so -ldl

3. 设置环境变量，优先调用我们的库
LD_PRELOAD=./libmyhook.so

4.运行文件
./main