对于一个测试人员来说"用户登录"绝对是一个耳熟能详的模块,也希望可以通过这样一个简单的功能帮助你理解如何做好测试,以及现阶段你需要加强和提高的测试技能。
在看完这篇文章之前,写过测试用例的初级朋友们可能会想,登录这个模块太简单了,只要找一个用户,让他在界面上输入"用户名和密码" 然后点击"确认按钮"就可以了,这确实构成了一个最基本最典型的测试用例,但是作为一个测试工程师,你要保证的是系统在各个应用场景下都是符合设计要求的,所以你需要考虑的测试用例应该是更多,更全面的。
你可能根据"用户登录"功能的需求描述,结合等价类划分法和边界值法来设计一系列的测试用例
等价类划分法:将所有可能的输入数据划分成若干个子集,在每个子集中,任意一个输入的数据对于检验程序中存在的错误或输出结果都有相同的效果,那么这样的子集就构成了一个等价类,后面我们只需要在一个类里边选取代表性的输入数据进行测试即可。这样就可以用少量具有代表性的数据取得较好的测试覆盖结果。
边界值分析方法:是选择输入,输出的边界值进行测试。因为通常大量的错误是发生在输入输出范围的边界上,所以需要对边界值进行重点测试,通常选取正好等于,刚刚大于或刚刚小于边界值的作为测试数据。
现在,针对"用户登录" 功能,基于等价类划分法和边界值法,我们设计的测试用例包括:
1.对用户名来说有 正确、错误、空 这三种
2.对密码来说有 正确、错误、空这三种
对以上情况进行排列组合可以得到
- 正确的用户名正确的密码,验证是否登录成功
- 正确的用户名错误的密码,验证是否登录失败,并提示信息正确
- 错误的用户名和任意的密码,验证是否登录失败,并提示信息正确
- 输入空的用户名和密码,验证是否登录失败,并提示信息正确
- 空的用户名或空的密码,验证是否登录失败,并提示信息正确
- 如果启用了验证码功能,在用户名和密码都正确的情况下,输入正确的验证码,验证是否登录成功
- 如果启用了验证码功能,在用户名和密码都正确的情况下,输入错误的验证码,验证是否登录失败,并且提示信息正确
对于我的第一份用例来说,当时觉得自己已经很好了,把所有的可能已经全部列出来了,但是在优秀的测试工程师眼中,这些用例只是勉强达到及格的标准
现在一起来看看有经验的测试工程师会再增加的测试用例:
- 用户名和密码是否大小写敏感。
- 页面上的密码框是否加密显示。
- 后台系统创建的用户第一次登录成功时,是否提示修改密码。
- 忘记用户名和忘记密码功能是否可用。
- 前端页面是否根据设计要求限制用户名和密码的长度。
- 如果登录功能需要验证码,点击验证码图片是否更换验证码,更换后的验证码是否可用。
- 刷新页面是否会刷新验证码。
- 如果验证码具有时效性,需要分别验证时效性内和时效性外的有效性。
- 用户登录成功但是会话超时后,继续操作是否重定向到用户登录界面。
- 不同级别的用户,比如管理员和普通用户,登录系统后权限是否正确。
- 页面默认焦点是否定位在用户名的输入框中。
- 快捷键Tab和Enter等,是否可以正常使用。
看完上边添加的这些用例,你可能会觉得大开眼界,原来一个简单的登录功能有这么多的测试点,但是"用户登录"功能的测试还没有结束。
接下来我先介绍两个概念:显式功能需求和非功能性需求
1.显式功能需求:指的是软件本身需要实现的具体功能,比如"正常用户使用正确的用户名和密码可以成功登录"、"非注册用户无法登录"等,这些都是属于典型的显式功能性需求描述。
2.非功能性需求:从软件测试的维度来看,非功能性需求主要涉及安全性、性能、以及兼容性三大方面
显然上边设计的用例都是围绕显示功能需求来展开的,一个质量过硬的软件系统,除了显式功能需求之外,非功能性需求也是非常关键的。
安全性测试包括:
- 用户密码后台存储是否加密;
- 用户密码在网络传输过程中是否加密
- 密码是否具有有效期,密码有效期到期之后,是否提示需要修改密码;
- 不登录的情况下,在浏览器输入登陆后的URL地址,验证是否会重定向到用户登录界面;
- 密码输入框是否不支持复制和粘贴;
- 密码输入框内输入的密码是否都可以在页面源码模式下查看
- 用户名和密码的输入框分别输入典型的“SQL 注入攻击”字符串,验证系统的返回页面;
-
用户名和密码的输入框中分别输入典型的 "XSS 跨站脚本攻击”字符串,验证系统行为是否被篡改;
- 连续多次登录失败情况下,系统是否会阻止后续的尝试以应对暴力破解
-
同一用户在同一终端的多种浏览器上登录,验证登录功能的互斥性是否符合设计预期;
-
同一用户先后在多台终端的浏览器上登录,验证登录是否具有互斥性。
性能压力测试包括:
- 单用户登录响应时间是否小于3秒;
- 单用户登录时,后台请求数量是否过多;
- 高并发场景下用户登录的响应时间是否小于5秒;
- 高并发场景下服务端的监控指标是否符合预期;
- 高并发点并发场景下,是否存在资源死锁和不合理的资源等待;
-
长时间大量用户连续登录和登出,服务器端是否存在内存泄漏。
兼容性测试用例包括:
- 不同浏览器下,验证登录页面的显示以及功能正确性;
-
相同浏览器的不同版本下,验证登录页面的显示以及功能正确性;
-
不同移动设备终端的不同浏览器下,验证登录页面的显示以及功能正确性
-
不同分辨率的界面下,验证登录页面的显示以及功能正确性。
通过这些测试用例,我们不难发现,一个优秀的测试工程师必须具有很宽广的知识,如果你不明白安全攻击的基本原理,没有掌握性能测试的基本设计方法,很难设计出"有的放矢"的测试用例。
但是有一点我们必须清楚的是,测试是具有不可穷尽性的,我们不可能进行穷尽测试。
补充:1.网络延迟或者弱网或者切换网络或者断网时正常登录是否正常
弱网测试是可以利用一些工具,模拟弱网环境,如:fiddler就可以实现
2.是否支持第三方登录
3.是否可记住密码,记住的密码保存是否加密
4.记住密码是否有有效期,有有效期,过期之后是否会清空密码