利用 _RTC_CheckStackVars(...) 和 windbg 发现访问越界

背景：在项目 debug 过程中遇到 failwithmessage 函数，但是程序正常运行，判断这个函数应该是类似 exception 之类的功能。查看调用栈，发现是 _RTC_CheckStackVars(...) 引起 failwithmessage 的调用。网上查到这个函数是检查栈变量完整性，很可能程序当中已经发生了访问越界。项目稳定性的要求比较高，需要捉一下虫子。

通过本文可以了解：

1. RTC API (run time check) 的基本原理。

2. 实际分析调用栈的形式。

3. 初步探索windbg调试的一些方法。

代码：猜测是访问越界导致，所以单写了代码越界的代码调试用

int main()
{
    int a[3] = { 0 };
    int b[3] = { 0 };
    a[3] = 3;
    return 0;
}

编译，并利用windbg调试，果然出现同样的函数调用栈。第一行是我们可以通过windbg查看的关于调用栈的所有信息。这里选了Addrs和Source args。第一列是每一个函数调用栈栈顶地址。函数名紧接着传进函数的参数的值。我们的调试函数是wmain，单步跟踪可以发现，在wmain完全退出之前（位于renturn之后）调用了_RTC_CheckStackVars。这是一个编译器行为。