测试C++程序：使用Catch和Valgrind

1.引言

最近写python用unittest模块做单元测试，才发现自己过去写C++居然都是手工测试。查了一番资料之后，发现Catch和Valgrind这两个工具可以很好地满足需求。

测试C++程序时，我们通常会在意两件事：

运行结果是否正确？
是否发生了内存泄漏？
第一件事所有编程语言都需要在意，通常是给程序各种输入，检验输出的正确性，Catch是一个轻巧的单元测试框架，学习起来非常容易；
第二件事应该是C/C++独有的，需要跟踪运行时动态分配的内存，虽然可以自行重载new/delete运算符做到这一点，但Valgrind可以为我们检测绝大多数内存相关问题（包括内存泄漏、数组越界、使用未初始化变量等）。

2.准备工作

2.1环境

我用的系统是Ubuntu 16.04，之所以推荐这两款工具，是因为它们安装和使用都太容易了，完全不折腾。
首先不妨观摩下怎样搭建Gtest环境，然后我们来安装Catch。
第一步，下载Catch的单一头文件Catch.hpp；
第二步，把Catch.hpp放到工程目录下（确保能正确include即可）。

结束了，比把大象装到冰箱里还少一步。

然后安装Valgrind只要一步：

apt-get install valgrind

2.2编写Trie

正好刷Leetcode写到了Trie，就修改一下拿它做例子，不感兴趣可以直接跳到第三节Catch的使用方法。

Trie又叫字典树、前缀树（prefix tree），是一种用来实现快速检索的多叉树。简单地讲，从根节点出发经过的路径确定了一个字符串，每个节点有标记当前字符串是否为有效单词。比如记当前字符串为s，走ten那条路径的话：

1. 选择”t”，s从“”变成“t”，不是有效单词；
2. 选择“e”，s从“t”变成“te”，不是有效单词；
3. 选择“n”，s从“te”变成“ten”，是有效单词。
   

首先来看Trie中节点TrieNode的定义：

typedef struct TrieNode {
    bool completed;
    std::map<char, TrieNode *> children;
    TrieNode() : completed(false) {};
} TrieNode;

TrieNode用bool值completed标记当前字符串是否为有效单词，用children实现字符到后继TrieNode的映射。比如上图的根节点，children里就会有“t”、“A”、“i”三项。

然后来看Trie的定义：

class Trie {
    public:
        Trie(void);
        ~Trie(void);
        void insert(std::string word);
        bool search(std::string word);
    private:
        TrieNode *root;
};

3.使用catch

话不多说，直接看使用Catch的测试文件test.cpp：

#include <iostream>
#include <cstdlib>

#include "Trie.h"

#define CATCH_CONFIG_MAIN
#include "catch.hpp"

using namespace std;

TEST_CASE("Testing Trie") {
    // set up
    Trie *t = new Trie();

    // different sections
    SECTION("Search an existent word.") {
        string word = "abandon";
        t->insert(word);
        REQUIRE(t->search(word) == true);
    }
    SECTION("Search a nonexistent word.") {
        string word = "abandon";
        REQUIRE(t->search(word) == false);
    }

    // tear down
    delete t;
}

除去trivial的#include “catch.hpp”外，使用#define CATCH_CONFIG_MAIN表示让Catch自动提供main函数，运行在TEST_CASE中设计的测试。

简单地讲，每个TEST_CASE由三部分组成，set up、sections和tear down，set up是各个section都需要的准备工作，tear down是各个section都需要的清理工作，set up和tear down对于每个section都会执行一遍。

比如有一个TEST_CASE:

TEST_CASE {
    set up
    case 1
    case 2
    tear down
}

真正执行时就是：set up->case 1->tear down->set up->case 2->tear down。
此处TEST_CASE里的两个section，第一个section是查找Trie中存在的单词，第二个section是查找Trie中不存在的单词。REQUIRE是Catch提供的宏，相当于assert，检验表达式是否成立。
写好Makefile文件：

HDRS = $(wildcard *.h)
SRCS = $(wildcard *.cpp)
OBJS = $(patsubst %.cpp, %.o, $(SRCS))
DEPS = $(patsubst %.cpp, %.d, $(SRCS))

TARGET = test
CXX = g++

$(TARGET): $(OBJS)
    $(CXX) -g -o $(TARGET) $(OBJS)

-include $(DEPS)

%.o: %.cpp
    $(CXX) -c -MMD -std=c++11 $<

.PHONY: clean

clean:
    -rm *.o
    -rm *.d
    -rm *.gch
    -rm $(TARGET)

make之后运行test，可以看到：

修改search方法，使得总是返回true，那么第一个section仍然正确，第二个section出错：

Catch告诉我们在第二个section，也就是“Search a nonexistent word”时出错，失败的原因是实际search结果为true

4. 使用Valgrind

Valgrind其实是一套工具的集合，可以用–tool参数指定使用哪种工具，默认使用的是内存检测工具Memcheck。Valgrind使用更加简单，比如编译链接后的可执行文件是test，那么检测内存泄漏情况只需使用命令：

valgrind leak-check=yes ./test

注意要用./test而不是test。
注释掉test.cpp里tear down部分，那么构造的Trie不会被释放，用Catch测试仍然会通过：

用Valgrind检测会得到很长的报告，这里只看最后的leak summary：

definitely lost和indirectly lost的含义可以看参考资料，这两个值不为0表示发生了内存泄漏。

恢复tear down部分，再次make后用Valgrind检测：

definitely lost和indirectly lost都为0，没有内存泄漏。

说起来Valgrind真的非常厉害，比如写了这种毫无违和感的错误代码

int main() {
    int *d = new int[18];
    delete d;
    return 0;
}

真心不一定能看出错误，但用Valgrind检测一下，就会在报告里看到：

提示释放方法错误（mismatched free），应该用delete []。

5. 参考资料

• Catch的官方tutorial：
  https://github.com/philsquared/Catch/blob/master/docs/tutorial.md
• Valgrind的官方quick start guide：
  http://valgrind.org/docs/manual/quick-start.html#quick-start.mcrun
• 使用Valgrind memcheck进行C/C++的内存泄漏检测：
  http://www.oschina.net/translate/valgrind-memcheck
• 应用 Valgrind 发现 Linux 程序的内存问题：
  https://www.ibm.com/developerworks/cn/linux/l-cn-valgrind/

转载自测试C++程序：使用Catch和Valgrind