ChatGPT 在软件功能测试中的应用探索

1 ChatGPT是什么

ChatGPT(Chat Generative Pre-trained Transformer，生成预训练转换器)，是OpenAI实验室于2022年11月30日发布的一款可以用于互动的聊天工具。它是人工智能技术驱动的自然语言处理工具，可以通过理解和学习人类的语言进行对话，它反映了人工智能发展的新趋势，即AI正从感知智能向认知智能快速发展。

像很多朋友一样，笔者在前些天初步小试了一下，问了几个生活、技术相关的问题，确实给出了有意义的回答，有些回答初看起来还很不错，可以给你不少启发。

今天继续带着好奇，进一步就软件测试专业上的问题作了一些探索。

2 软件功能测试中的应用

   软件在版本发布之前，对用户宣称的功能是否已实现，质量是否可靠，是软件测试工程师需要回答的问题。为了回答这个问题，我们需要做测试分析、测试方案设计、测试用例设计等一系列的工作。而其中的测试分析是重中之重，我们主要依据用户需求、设计需求等进行测试分析。

现假设有产品经理给的业务需求如下：为了方便用户管理个人数据，用户可在手机通信录中选择要备份的重要数据，用U盘导出。

现在，测试工程师小A领了此任务的测试，并开始做测试分析，他想借助ChatGPT工具帮自己完善测试思路，以便测试更全面。

下面是他与ChatGPT的聊天记录。

问题1：手机通信录中数据，用户可通过U盘导出，请给出导出功能的测试思路。

小A一看，ChatGPT给出了7个点，好像是那么回事，但不满意。因为小A觉得有些重要的点它没给出，例如导出数据的正确性检查，但你又会发现它给出的第6点“错误处理测试”，也好像包含了导出数据的检查，只是有些含糊。

小A想了想，根据ChatGPT的输出原理，我们是发命令给它（系统）来处理的，所以当不满意结果时，我们只能通过修改给它的输入（给它处理任务的指令）。

小A于是向ChatGPT发出第2次请求。

问题2：手机通信录中的数据可通过U盘导出，用户可选择数据进行导出，用户通过点击“导出”按钮，实现导出。请给出导出功能的测试思路。

看来，这次的问话很成功，得到了小A想要的各种测试思路，例如最重要的“数据完整性测试”，还包括了界面测试，导出速度，大数据量导出时的性能，异常情况也考虑了。很棒！

但小A又想了想，导出数据是用U盘，而用户用的U盘有不同的分区格式，如FAT，FAT32，NTFS格式等，于是修改了问题的措词，在导出前面增加了“U盘”2个字，接着再问。

问题3：手机通信录中的数据可通过U盘导出，用户可选择数据进行导出，用户通过点击“导出”按钮，实现导出。请给出U盘导出功能的测试思路（上午10：00多问）

结果确实不同，第2、3次问的问题，仅是2字之差，即前者是“导出”，后者是“U盘导出”，ChatGPT系统匹配到的结果是不同的，此时，发现兼容性与性能方面的2个测试点不见了。

后来，由于小A有其他的事忙去了，上午就没时间再继续与ChatGPT聊天。直到下午15：00左右，小A就问题2与问题3就差2个字，结果却丢了2个测试点，没有想明白为什么这样，于是想同一个问题继续问。

问题4：手机通信录中的数据可通过U盘导出，用户可选择数据进行导出，用户通过点击“导出”按钮，实现导出。请给出U盘导出功能的测试思路（与问题3一模一样，下午15：00多问）

此时，ChatGPT给出的测试思路只有6个点了，怎么又丢了4个点呢，小A更是闹不明白了。

小A在想，同样的问题，上午问与下午问难道有区别吗，给出的结果是有随机性？

3 功能测试探索小结

通过同一个业务需求，小A的3种问法，及相同问题不同时间的问法，小A的探索小结如下：

1、向ChatGPT提问题，问题描述越准确，回答会越准确。

2、ChatGPT 有理解文本能力，但对中文的上下文理解会因个别字的差别，给出不同的结果。例如：对于汉语的表达，多句话或多个词是同一个意思，但其理解起来会存在差异。

3、同样的问题，不同时间问，ChatGPT的回答有随机性，这一点会给用户带来不确定性，不可靠的感觉。

综之，目前的ChatGPT 可以帮我们解决一些问题，如补充测试思路，补充测试点，让测试人员设计的用例更全面，但它还不可靠，存在不确定性，好像高兴时回答多一点，不高兴时回答少一点，还有点像小孩。

最后，还是想说一下，工具是为我们所用才能给我们带来价值，而不是控制我们，所以无论何时何地，思考问题的思维才是最重要的。

最后：下方这份完整的软件测试视频学习教程已经整理上传完成，朋友们如果需要可以自行免费领取【保证100%免费】

软件测试面试文档

我们学习必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有字节大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。