测试 文章 与测试用例

软件测试

1.按阶段划分为
单元测试,集成测试 ,系统测试,验收测试

2.按是否运行
	静态测试 动态测试	
    
3.按是否查看源代码
	自盒测试
	黑盒测试
		功能测试 
    		逻辑功能测试 ,界面测试,易用性测试,安装测试,兼容性测试
		性能测试
        	一般性能测试 ,稳定性测试,负载测试,压力测试
4.其他
	回归测试,冒烟测试,随机测试	

测试过程中遇到了不能复现的bug怎么办

1、遇到问题就要提，测试的工作就是不放过任何一个bug，在提交的Bug描述中需要加上一句话，那就是复现概率，尝试20次，出现1次或者尝试10次，出现2次，开发会根据bug的复现概率，调整改bug的优先级。

2、尽量回想发生问题时的复现步骤，不要漏掉任何一个细节，按照步骤的组合尝试复现。

3、保留发生bug时的log，附加到提交的bug中，希望可以通过log中找到一些蛛丝马迹。

4、与开发人员配合，让开发同学对相应地方的代码进行检查，看一下是否可以通过代码层面检查出问题。

5、在接下来的测试中，时刻保持关注，每次执行同样或者相近的步骤的时候，看下是否能够复现之前的bug。

测试过程中遇到开发不认为bug是bug的时候你怎么办

找到需求文档或者是原型图进行匹配
尝试多种测试环境和多种测试方法来确认是否为bug
整理bug的复现的步骤和出现的频率
开发坚持不认为是bug的时候找项目经理测试经理进行沟通来确认是否为bug
将客户经理 测试 测试经理和项目经理进行确认会来判定是否为bug

性能测试的指标 有哪些

1、性能指标分类
系统性能指标
资源性能指标
中间件指标
数据库指标
稳定性指标
可扩展性指标
可靠性指标

2、系统性能指标
响应时间
系统处理能力
吞吐量
并发用户数
错误率

2.1 响应时间
Response Time 简称RT，是指系统对请求作出响应的时间（处理请求的时间）；
不同的功能的响应时间也不尽相同，所以讨论一个系统的响应时间时，通常指该系统所有功能的平均响应时间或者所有功能的最大响应时间

不同行业参考标准：
互联网：500毫秒以下，如淘宝业务10毫秒左右
金融：1秒以下为佳，复杂业务3秒以下
保险：3秒以下为佳
制造业：5秒以下为佳

响应时间的绝对值并不能直接反映软件的性能的高低，软件性能的高低实际上取决于用户对该响应时间的接受程度

2.2 系统处理能力
系统处理能力是指系统在利用系统硬件平台和软件平台进行信息处理的能力。有以下指标来度量：
HPS（Hits Per Second）：每秒点击次数，次/秒
TPS（Transaction per second）：系统每秒处理交易数（事务数），笔/秒
QPS（Query per second）：系统每秒处理查询次数，次/秒

一般情况下用TPS来衡量整个业务流程，用QPS来衡量接口查询次数，用HPS来表示对服务器点击请求(越大越好)

不同行业参考标准：
金融：1000TPS—50000TPS
保险：100TPS----100000TPS
制造：10TPS-----5000TPS
互联网电子商务：10000TPS----1000000TPS
互联网中型网站：1000TPS—50000TPS
互联网小型网站：500TPS–10000TPS

2.3 吞吐量
吞吐量是指系统在单位时间内处理请求的数量
对于单用户系统，响应时间可以很好地度量系统的性能，但对于并发（多用户）系统，通常可以用吞吐量作为性能指标

2.4 并发用户数
并发用户数指在同一时刻内，登录系统并进行业务操作的用户数量

2.5 错误率
错误率 简称FR，指系统在负载情况下，失败交易的概率，错误率=（失败交易数/交易总数）*100%
参考标准：一般成功率不低于99.4%

3.资源性能指标
CPU
内存
磁盘吞吐量
网络吞吐量

3.1 CPU
CPU又称中央处理器，是一块超大规模的集成电路，是一台计算机的运算核心（core）和控制中心（Control Unit）。主要功能时解释计算机指令以及处理计算机软件中的数据。
行业参考标准：
CPU指标主要指的是CPU利用率，包括用户态（user），系统态（sys）,等待态（wait），空闲态（idle）
CPU利用率 <=75%
CPU sys% <=30%
CPU wait% <=5%

3.2 内存
内存是与CPU进行沟通的桥梁，计算机所有程序的运行都是在内存中进行的，内存的性能对系统影响非常大。
行业参考标准：
为了最大利用内存，在内存中存放了缓存，因此内存利用率100%并不代表内存有瓶颈，衡量系统内存是否有瓶颈主要靠SWAP（与虚拟内存交换）交换空间利用率，一般低于70%，太多的交换将引起系统性能低下。

3.3 磁盘吞吐量
磁盘吞吐量简称Disk Throughput，是指在无磁盘故障的情况下单位时间内通过磁盘的数据量
行业参考标准：
磁盘指标有每秒读写多少兆，磁盘繁忙率，磁盘队列数，平均服务时间，平均等待时间，空间利用率。其中磁盘繁忙率是直接反映磁盘是否有瓶颈的重要依据，磁盘繁忙率要低于70%

3.4 网络吞吐量
Network Throughput，是指在无网络故障的情况下单位时间内通过的网络的数据数量。单位：Byte/s. 网络吞吐量指标用于衡量系统对于网络设备或链路传输能力的需求。当网络吞吐量指标接近网络设备或链路最大传输能力时，则需要考虑升级网络设备。一般不超过设备或链路的最大传输能力的70%

4. 中间件指标
常用的中间件例如Tomcat，weblogic等指标主要包括JVM，ThreadPool，JDBC
|GC频率 | 次/s | java虚拟机垃圾部分回收频率
|Full GC频率| 次/h | Java虚拟机垃圾完全回收频率
| Full GC平均时长 | 秒 | 用于垃圾完全回收的平均时长
| Full GC最大时长 | 秒 | 用于垃圾完全回收的最大时长
|GC堆使用率 | 百分比 | 堆使用率
|Active Thread Count| 个 | 活动的线程数
| Pending User Request |个 | 处于排队的用户请求个数
|JDBC Active Connection| 个| JDBC活动连接数

5.数据库指标
常用的数据库如MySQL指标主要包括SQL、吞吐量、缓存命中率、连接数
SQL 耗时 微妙 执行SQL耗时
吞吐量 QPS 个 每秒查询次数
吞吐量 TPS 个 每秒事务次数
命中率 Key Buffer命中率 百分比 索引缓冲区命中率
命中率 InnoDB Buffer命中率 百分比 InnoDB缓冲命中率
命中率 QueryCache命中率 百分比 查询缓存命中率
命中率 TableCache命中率 百分比 表缓存命中率
命中率 ThreadCache命中率 百分比 线程缓存命中率
锁 等待次数 次 锁等待次数
锁 等待时间 微妙 锁等待时间

行业参考标准：
SQL耗时越小越好，一般微秒级别
命中率越高越好，一般不能低于95%
锁等待次数越低越好，锁等待时间越短越好

6.稳定性指标
最短稳定时间：系统按照最大容量的80%或标准压力情况下运行，能够稳定运行的最短时间。
一般来说 对于正常工作日（8小时）运行的系统，至少应该能保证系统稳定运行8小时以上。
对于7*24小时运行的系统，至少保证稳定运行24小时以上
参考标准：
TPS曲线稳定，没有大幅度的波动
各项资源指标没有泄露或异常情况

7.可扩展性指标
是指应用软件或操作系统以群集方式部署，增加的硬件资源与增加的处理能力之间的关系。
计算公式：
（增加性能/原始性能）/(增加资源/ 原始资源) *100%
参考标准：
理想的扩展能力是资源增加几倍，性能就提升几倍。扩展能力至少在70%以上。

8.可靠性指标
对于服务端性能测试，从系统可靠性指标度量分析时，常见从三类来入手：
双机热备
集群
备份和恢复
8.1 双机热备
指标如下：
节点切换是否成功及其消耗时间。
双机切换是否有业务中断。
节点回切是否成功及其耗时。
双机回切是否有业务中断。
节点回切过程中的数据丢失量在进行双机切换的同时，使用压力发生工具模拟实际业务发生情况，对应用保持一定的性能压力，保证测试结果符合生产实际情况。

8.2 集群
对于使用集群方式的系统，主要通过以下方式考量其集群可靠性：

集群中某个节点出现故障时，系统是否有业务中断情况出现
在集群中新增一个节点时，是否需要重启系统
当故障节点恢复后，加入集群，是否需要重启系统
当故障节点恢复后，加入集群，系统是否有业务中断情况出现
节点切换需要多长时间在验证集群可靠性的同时，需根据具体情况使用压力工具