TestNG 六 测试结果

一、成功、失败和断言

如果一个测试没有抛出任何异常就完成运行或者说抛出了期望的异常（参见@Test注解的expectedExceptions属性文档），就说，这个测试时成功的。

测试方法的组成常常包括抛出多个异常，或者包含各种各样的断言（使用Java "assert" 关键字）。一个"assert"失败会触发一个AssertionErrorException，结果就是测试方法被标记为失败（记住，如果你看不到断言错误，要在加上 -ea 这个JVM参数）。

下面是个例子：

@Test
public void verifyLastName() {
  assert "Beust".equals(m_lastName) : "Expected name Beust, for" + m_lastName;
}

TestNG 也包括 JUnit 的 Assert 类，允许你对复杂的对象执行断言：
import static org.testng.AssertJUnit.*;
//...
@Test
public void verify() {
  assertEquals("Beust", m_lastName);
}

注意，上述代码使用了静态导入，以便能够使用 assertEquals 方法，而无需加上它的类前缀。

二、日志与结果

当运行SuiteRunner的时候会指定一个目录，之后测试的结果都会保存在一个在那个目录中叫做index.html 的文件中。这个index文件指向其他多个HTML和文本文件，被指向的文件包含了整个测试的结果。你可以再这里看到一个例子。

 

通过使用监听器和报表器，可以很轻松的生成自己的TestNG报表：

（1）监听器---实现接口 org.testng.ITestListener ，并且会在测试开始、通过、失败等时刻实时通知

（2）报告器---实现接口org.testng.IReporter ，并且当整个测试运行完毕之后才会通知。IReporter 接受一个对象列表，这些对象描述整个测试运行的情况

例如，如果你想要生成一个PDF报告，那么就不需要实时通知，所以用IReporter。如果需要写一个实时报告，例如用在GUI上，还要在每次测试时（下面会有例子和解释）有进度条或者文本报告显示点 (".")，那么 ITestListener 是你最好的选择。

 

例如，如果你想要生成一个PDF报告，那么就不需要实时通知，所以用IReporter。如果需要写一个实时报告，例如用在GUI上，还要在每次测试时（下面会有例子和解释）有进度条或者文本报告显示点 (".")，那么ITestListener 是你最好的选择。

 

1.日志监听器

这里是对每个传递进来的测试显示"."的监听器，如果测试失败则显示 "F" ，跳过则是"S"：

public class DotTestListener extends TestListenerAdapter {
  private int m_count = 0;

  @Override
  public void onTestFailure(ITestResult tr) {
    log("F");
  }

  @Override
  public void onTestSkipped(ITestResult tr) {
    log("S");
  }

  @Override
  public void onTestSuccess(ITestResult tr) {
    log(".");
  }

  private void log(String string) {
    System.out.print(string);
    if (m_count++ % 40 == 0) {
      System.out.println("");
    }
  }
} 

上例中，我们选择扩展 TestListenerAdapter ，它使用空方法实现了 ITestListener 。所以我不需要去重写那些我不需要的方法。如果喜欢可以直接实现接口。

这里是我使用这个新监听器调用TestNG的例子：

java -classpath testng.jar;%CLASSPATH%org.testng.TestNG -listener org.testng.reporters.DotTestListenertest/testng.xml

2.日志报表

org.testng.IReporter 接口只有一个方法：

public void generateReport(List<ISuite>suites, String outputDirectory)

这个方法在 TestNG 中的所有测试都运行完毕之后被调用，这样你可以修改这个方法的参数，并且通过它们获得刚刚完成的测试的所有信息。

 

3.JUnit 报表

TestNG 包含了一个可以让TestNG的结果和输出的XML能够被JUnitReport所使用的监听器。这里有个例子，并且ant任务创建了这个报告：

<target name="reports">
  <junitreport todir="test-report">
    <fileset dir="test-output">
      <include name="*/*.xml"/>
    </fileset>
    <report format="noframes"  todir="test-report"/>
  </junitreport>
</target>

注意：由于JDK 1.5 和 JUnitReports 不兼容性，导致了frame版本不能够正常工作，所以你需要指定 "noframes" 使其能够正常工作。

 

4.报表 API

如果你要在HTML报告中显示日志信息，那么就要用到类 org.testng.Reporter：

   Reporter.log("M3 WAS CALLED");

 

5. XML 报表

TestNG 提供一种XML报表器，使得能够捕捉到只适用于TestNG而不适用与JUnit报表的那些特定的信息。这在用户的测试环境必须要是用TestNG特定信息的XML，而JUnit又不能够提供这些信息的时候非常有用。下面就是这种报表器生成XML的一个例子：

<testng-results>
    <suite name="Suite1">
        <groups>
            <group name="group1">
                <method signature="com.test.TestOne.test2()" name="test2" class="com.test.TestOne"/>
                <method signature="com.test.TestOne.test1()" name="test1" class="com.test.TestOne"/>
            </group>
            <group name="group2">
                <method signature="com.test.TestOne.test2()" name="test2" class="com.test.TestOne"/>
            </group>
        </groups>
        <test name="test1">
            <class name="com.test.TestOne">
                <test-method status="FAIL" signature="test1()" name="test1" duration-ms="0"
                             started-at="2007-05-28T12:14:37Z" description="someDescription2"
                             finished-at="2007-05-28T12:14:37Z">
                    <exception class="java.lang.AssertionError">
                        <short-stacktrace>java.lang.AssertionError
                            ... Removed 22 stack frames
                        </short-stacktrace>
                    </exception>
                </test-method>
                <test-method status="PASS" signature="test2()" name="test2" duration-ms="0"
                             started-at="2007-05-28T12:14:37Z" description="someDescription1"
                             finished-at="2007-05-28T12:14:37Z">
                </test-method>
                <test-method status="PASS" signature="setUp()" name="setUp" is-config="true" duration-ms="15"
                             started-at="2007-05-28T12:14:37Z" finished-at="2007-05-28T12:14:37Z">
                </test-method>
            </class>
        </test>
    </suite>
</testng-results>

这个报表器是随着默认监听器一起诸如的，所以你默认的情况下就可以得到这种类型的输出。这个监听器提供了一些属性，可以修改报表来满足你的需要。下表包含了这些属性，并做简要说明：

为了配置报表器，你可以在命令行下使用 -reporter 选项，或者在 Ant 任务中嵌入<reporter> 元素。对于每个情况，你都必须指明类org.testng.reporters.XMLReporter。但是要注意你不能够配置内建的报表器，因为这个只使用默认配置。如果你的确需要XML报表，并且使用自定义配置，那么你就不得不手工完成。可以通过自己添加一两个方法，并且禁用默认监听器达到目的。

本文转载自http://blog.sina.com.cn/bestfeiyong