数据报表类测试点

一、熟悉业务:

  • 1.包括业务流程和业务规则。

1.数据项的算法和数据来源,单据的增、删、改或者状态的变化,对报表中各个数据项的计算会产生什么不同的影响。

  • 2.准备完整、高效、专用的数据:

1、从查询统计方法角度准备数据:尽可能覆盖到报表所提供的各查询统计方法的数据,至少保证每一种查询统计方法都应该有对应的数据,得到的结果不是0,否则等于没有覆盖到这个查询统计算法。

2、从数据源的属性来准备数据:这里涉及到的方面比较多,都是跟数据来源有关,现举例说明:

a.同样的业务数据来源于多个数据表,则需要准备多个数据表中的数据;

b.与状态相关的数据,有些状态需要纳入统计,有些不需要,但这些数据都需要准备;

c.数据来源与显示数据不同时,比如在数据库中存储的是1,显示时则需要显示为“是”。等等。。。

  • 3、从数据项的算法来准备特殊数据:比如:除数为0,以及与0相加,是否可以得到正确的结果;

  • 4、数据的优化:按上述的方法基本上可以准备比较完整的数据了,但数据也不是越多越好, 为了提高测试效率,需要对数据进行优化,尽量保证用最少的数据覆盖所有可能的情况。

  • 5、为报表准备专用的数据:即使个人精心准备了报表数据,如果多人同时测试,或者本人在测试业务时,录入了其他数据,都会对报表的数据产生影响;所以需要在开始测试时,团队内对数据的准备达成一致,使数据中的某一项具有特征性,例如分别使用不同的供应商,或者使用不同的商品。

  • 6、做好数据环境的备份和维护: 数据文档的备份与维护: 在测试过程中难免会因为误操作导致环境的变化,例如:不小心把一张单据变成了另外一种状态,或者某个类型的单据多做了一张。对于这种情况,一个简单的方法就是去维护数据文档。当然,前提就是需要对原始的数据文档进行备份。

测试数据库的备份与恢复: 如果想减少回归测试的工作量,那么应该考虑在一些关键的“点”上备份测试数据。

例如:所有的基础数据与单据已经输入完成,但是还都没有开始审核,那么可以备份一下,下次再测的时候可以直接在数据库中恢复这部分原始数据。

二、如何做报表测试

软件中的报表实现一般分为定义报表的所需数据(一般可以通过选择或手工输入条件来缩小数据范围)和定义报表格式两个部分。报表格式除了如国家各行业标准中规定的报表使用固定格式外,大多是根据企业或用户的需要定制报表。
所以,做报表测试时要注意以下方面:

  • 1、数据的正确

    用户使用报表就是期望通过一个简单方便的平台能快速的查找到他所需要的数据.所以在测试报表时首先就要检查报表中的数据是不是用户需要的数据,如果没有加工的数据,是否保持了原貌;加工过的数据查看加工的结构是否和手工加工的结果一致.简言之,需要测试以下内容:

测试项目测试要点
数据来源1、来源于哪张表,哪个字段;2、数据库中的数值与界面数据的对应.如数据库中性别的数据可能是0或1,但界面显示为男或女,这个对应关系是否正确.
数据范围是否只显示了报表设置的对应范围特别要注意边界数据,要清楚报表的需求,是否需要过滤掉被选择的数据.如时间选择为2006-9-27~2007-9-27,那么是否应该包含9-27这天。
数据的对应关系数据库中的字段是否与报表中的信息对应
数据的格式小数位,千位符,四舍五入等是否与报表设置一致;单位或税率转换是否正确;组合显示的数据是否合理
数据的排序排序方式是否与报表设置一致(如果没有设置,是否有一个清晰的默认排序方式,如按字母或数字排序)
流水号如报表有使用流水号,流水号的生成和格式是否正确;取消操作是否会生成流水号。
明细与合计的一致性各部分明细或小节是否与最后总和一致
其他

测试这一部分内容需要对业务逻辑相当熟悉,对数据库的设计也要非常了解。必要时可以通过自己写查询语句查看数据。
根据条件通过等价类划分和排列组合设置各种条件组合。千万不要盲目的测试,否则会导致该测的没测,多余的测试做了一堆。
一般来说有类别划分的(一般界面表现为下拉框),每个类别都要测试到,如性别中的男、女都要测试。输入的可以用等价类来划分要测试的数据。

  • 2、格式的正确

数据验证正确后,就需要看看报表的输出格式是否符合要求。可以从以下几方面来检查:

测试项目测试要点
表格的整体风格报表是否符合规定的或用户设置的格式
表格的标题报表的标题是否是正确的报表名称;如报表中有嵌入的数据(会跟随用户的选择而变化的),需要检查数据是否正确,如XX企业9月份财务报表,这个9月就是用户选择的;或者XX公司2006-9-27~2007-9-27的网站访问量,这个时间段也是用户选择的。
公司的一些标志如logo,名称,地址之类的是否正确
报表的首页和尾页是否采用了一致的规则
分页当输出的内容多时,分页是否正确。翻页功能是否正确
友好性数据或图表是否清晰,一目了然;数据的展示符合用户的习惯;需要特别提醒的数据(如合计,异常数据)是否突出显示;复杂算法处,用户不明白或容易混淆处是否有注释;一些默认的格式是否让人感觉舒服,如对齐、边界,间隔等
  • 3、权限的控制

对于有权限控制的系统,报表当然也应该和用户所具有的权限相一致。需要从两方面校验权限的控制。
1、报表的条件定义:在条件选择区域,有些下拉框中应该不能显示用户权限范围外的数据。如普通文员在使用报表时,报表名称下拉框中是不可以显示管理者才能查看的报表的。有些以输入的文本框有级别的划分时,都应该要测试输入超越权限的数据的相应。
注意这里一定要测试每个条目。
2、报表内容:报表中的内容不能显示用户本没有权限查看的数据。

  • 4、报表的输出

报表在电脑上生成后,并不是报表的结束。报表一般都需要打印出来他用,如开会或者提交审批之类。所以报表的打印功能也是非常重要的。测试主要分成三部分:
1、打印设置
2、打印预览
3、实际打印效果
除了打印之外,用户有可能需要导出报表做进一步的分析或用于和其他报表的比较,所以也应该提供导出报表的功能。一般可以导出为CSV、Excel、pdf、html、xml格式。看公司需要了。这里主要要检查导出的报表默认属性是否为读写,然后导出的内容是否正确,与生成的报表相一致。

  • 5、报表与报表之间的关系

有些报表都使用了相同的数据,只不过针对不同的需要做了不同的处理,所以报表与类似报表之间要做些测试,看看数据是否一致。

  • 6、报表的性能

用户在设置好条件后都希望不要等待报表太长时间,当然有时数据量大时等待时间长些也是合理的。但是在做报表的开发时或测试人员可以提出一些意见来提高报表的性能。
1、报表的条件设置区域应该设置默认值以避免用户不输入任何条件直接生成报表所造成的长时间等待。例如开始和结束时间可以默认为当前的一个月,一些输入文本框可以根据用户的身份默认一个数值。
2、生成报表时用类似进度条表现进度,避免用户盲目的等待。
3、提供让用户选择每页显示多少条数据的选项,,默认为最小的选项,这样可以避免无谓的资源浪费。
4、生成报表的语句尽量采用最优的查询语句,多调试几遍;查看语句的性能。
注意:如果可以所有的条件为空时,需要测试条件为空时的性能。

  • 7、报表控件的独特性

一般公司会用专门的报表控件来生成报表,例如MS的Report service, Crystal报表等。所以最好先了解一般的报表生成流程和这类报表控件的特点,这样在测试时就可以有的放矢,而不是盲目的比较。

  • 8、一般性测试

测试报表条件选择区域,主要需要注意如下问题:
1、每个字段的类型校验
2、每个字段的长度校验
3、每个字段中输入特殊字符的校验(包括空/空格)
4、通配符的测试(对信息量大的系统,建议最好作处理不支持通配符以避免性能的低下)
5、字段与字段之间的关系的测试(如约束关系或排斥关系)

  • 4
    点赞
  • 91
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
数据运营 作用&意义 知错能改,善莫大焉 —错在哪里,数据分析告诉你 运筹帷幄,决胜千里 —怎么做好“运筹”,数据分析告诉你 以往鉴来,未卜先知 —怎么发现历史的规律以预测未来,数据分析告诉你 工作思维 对业务的透彻理解是数据分析的前提 数据分析是精细化运营,要建立起体系化思维(金字塔思维) 自上而下 目标—维度拆解—数据分析模型—发现问题—优化策略 自下而上 异常数据 影响因素 影响因素与问题数据之间的相关关系 原因 优化策略 数据化运营7大经典思路 以目标为导向,学会数据拆分 细分到极致 追踪思路 运营的问题,是追踪出来的,不是一次就看出来的 所有的数据都是靠积累和沉淀才能发现问题,单一的数字没有任何 意义,只能称为 “数值” 结合/拆分思路 追踪数据,多个维度结合分析。 从多个维度拆分数据 对比思路 大的营销事件作为节点单独标记,数据剔除出来单独进行分析 节点思路 如运营活动等 行为标记思路 将大动作的优化,大的项目上线及时标注在数据报表中 培养数据的敏感度 培养数据思维,从每天的各种数据报表开始 数据来源 数据埋点 初级 追踪每次用户的行为,统计关键流程的使用程度 中级 在产品中植入多段代码追踪用户连续行为,建立用户模型来具体化用户在使用产品中的操作行为 高级 研发团队合作,通过数据埋点还原出用户画像及用户行为 常用数据分析工具 友盟、Talkingdata 友盟的页面访问分析,对帮助分析用户流失有重要指导意义 网站Alexa排名查询、爱站网、中国网站排名、网络媒体排名 禅大师、ASO100 各种指数 百度指数、搜狗指数、腾讯浏览指数、360指数、某视频网站指数 数据库、运营后台等 工作内容 数据监控 检测异常指标,发现用户对您产品的”怒点“ 如:多次获取手机验证码,次数剧增 这里需要考虑有一个监控指标 新功能数据分析 通过留存曲线检验新功能的效果 通过留存看新功能用户的接受程度 通过用户反馈或调研,了解新功能接受度 数据指标 标记: 红色 整体概况 1、[大盘数据]用户及收入表格+折线图 注册用户(今天、昨日、近3天、近7日、近30天、全部) 新增用户、付费用户、充值总额 2、同时在线趋势折线图 在线人数一向是游戏火热程度的最好衡量 需要有同期对比功能,有参照物才能更好的比较 3、付费渗透 日付费率变化折线图 日付费率通常不稳定,一般情况下看周付费率或月付费率 付费率=充值人数/活跃人数*100% ARPU值变化折线图 ARPU值=总收入/活跃人数 ARPU值影响因素 活跃人数DAU发生较大变化 运营活动影响 金字塔 大R 是否有大R用户异常波动(大R用户流失或大R用户进入) 中、小R 大量中R、小R用户出现或消失 ARPPU值变化折线图 ARPPU值=总收入/付费人数 可以用来监控大R用户异常变化情况 如果该值异常波动,请进一步看鲸鱼用户数据 4、用户留存 新用户留存 次日、3日、7日、14日、30日留存 次日留存是对玩家“第一游戏体验”的最佳印证 与游戏的类型、题材、玩法、美术风格、游戏前期内容吸引度、新手引导有效性有直接的相关性 如果导入的新增玩家群体对游戏题材、玩法、美术风格不予认可,留存将会很差,且可优化的空间较小 优化新手引导和前期的游戏内容则可以有效帮助提升次日留存 7日、30日留存则与游戏难度、持续的活动运营、游戏内奖励机制有密不可分的关系 活跃用户留存 一般不分析活跃用户留存,而是通过DAU观察活跃用户流失数据 留存是评定游戏综合质量的最佳指标 5、平均使用时长和平均使用次数 可以使用柱状图来展现 两项宏观行为指标可反映出用户对app的依赖程度 如果留存较好,但时长和次数均不高,则可能是因过于强调每日登录奖励,但持续的app内容用户家缺乏吸引力所致 用户分析 用户规模 下载数量 新增用户 定义:每日注册并登录游戏的用户数量 ——解决问题 渠道贡献新用户份额分布,监控重点渠道 宏观走势,是否需要进行市场投放 判断是否存在渠道作弊行为、渠道包被下架等问题 日一次会话用户数 即新登用户中只有一次会话,且会话时长低于门阀值 ——解决问题 推广渠道是否有刷量作弊行为 渠道推广质量是否合格 用户导入是否存在障碍点,如网络状况和加载时间等 用户获取成本 解决问题 获取有效新登用户成本 如何选择正确的渠道优化投放 需要根据渠道来细分不同渠道的获取用户成本 了解用户成本 活跃用户 DAU(日活跃用户) 定义 每日登录过游戏的用户 解决问题 了解游戏的核心用户规模 了解游戏产品生命周期变化趋势、渠道活跃用户生命周期 了解游戏产品老用户流失和活跃情况 注意事项 日活跃=新增用户+回流用户+老用户 如果日活跃依靠新增为维持,留存肯定有问题 健康比例3:7,当然不同产品会有一定差异 WAU(周活跃用户) 定义 截止当日,最近一周含当日的7天内,登录过游戏的用户,一般按照自然周计算 解决问题 游戏的周期用户规模 游戏产品的周期性/每周变化趋势衡量 注意事项 利于在不同活跃用户规模的维度上发现和掌握游戏用户规模的变动 数据去重 MAU(月活跃用户) 定义 截止到当天,最近30天(含30天)登录过游戏的用户 解决问题 游戏总体用户规模并评估用户规模稳定性 推广效果评估 了解产品的粘性 注意事项 MAU层级的用户规模更加具有稳定性、相对变化很小 某个时期或版本更新对其可能也产生较大影响 数据去重 一定程度上可以观察游戏的生命周期 DAU/MAU(日活跃用户和月活跃用户的比例值) 一般极低值为0.2 保证产品能够达临界规模的病毒式传播和用户粘度 忠实用户 连续3周登录的用户 目前分析价值不大 用户活跃 启动次数(时、日、周、月) 每日启动1次计算为1次启动 需要有一个间隔时间,30秒内多次启动只能计算为1次 解决问题 衡量用户粘度,数值越大越好 识别优质渠道,渠道是否存在刷量 什么渠道/用户启动次数多 日均使用时长 定义 活跃用户每日平均在线时长 解决问题 游戏的参与度怎么样 产品质量把控指标,游戏粘度如何 渠道质量如何 与单次使用时长结合分析留存和流失问题 用户活跃度 DAU/MAU,理论上不低于0.2,0.2*30=6天 解决问题 游戏的人气是增长、衰退还是稳定? 看趋势 一个月中,用户的活跃天数是多少 用户的游戏参与度如何 用户活跃率 活跃率=活跃用户/总用户 了解你的用户的整体活跃度,但随着时间周期的加长,用户活跃率总是在逐渐下降的 用户层次(轻度、中、重) 轻度用户:每周登录1~2次的用户 中度用户:每周登录3~5次的用户 重度用户:每周登录6~7次的用户 解决问题 了解用户忠实度,能否走得动”口碑传播“ 在线统计 实时在线曲线(每5分钟统计一次当时的用户同时在线人数) 上周同期对比 平均同时在线人数、最高同时在线人数和时间 每小时注册用户数 用户在什么节点来的多,需要重点监控该时间段app运行 用户画像 概述 是什么,有什么用,怎么做 构建用户画像的核心工作即是给用户贴“标签”,而标签是通过对用户信息分析而来的高度精炼的特征标识 作用 精准营销 分析产品潜在用户,针对特定群体利用短信、邮件等方式进行营销 用户统计 如购买某类书籍人数 TOP10 数据挖掘 定义 把散乱数据转换成有价值信息的过程 效果评估 完善产品运营,提升服务质量 其实这也就相当于市场调研、用户调研,定位服务群体,提高服务 个性化服务 对服务或产品进行私人定制,精准到某一类甚至每一位客户提供个性化服务 基本构成 用户静态属性 基本指标 年龄、性别、地域、学历、角色、收入、婚姻状态、职业 每个指标均需要从多个角度来分析,以区域为例 各区域充值总金额、充值人数、充值次数、付费率、arpu值分布 交叉分析 以区域和性别为例 不同性别+不同地域环境下,付费率数据…… 渠道分布 品牌、机型、操作系统、分辨率、联网、版本、设备均价、运营商 单设备注册账号数分析 可以分析小号分布情况 用户动态属性 动态属性指具有可变性 基本指标 用户的兴趣爱好、兴趣标签 在互联网上的活动行为特征 用户行为分析环节深入分析 用户消费属性 消费属性指用户的消费意向、消费意识、消费心理、消费嗜好等,对用户的消费有个全面的数据记录,对用户的消费能力、消费意向、消费等级进行很好的管理 用户心理属性 心理属性指用户在环境、社会或者交际、感情过程中的心理反应,或者心理活动 目前,用户心理相对会有难度,不用过多考虑 怎么做 数据收集 数据太多可以采用抽样的方法 数据建模 根据所获取到的数据建立模型,注入数据调整模型参数 数据分析及预测 数据可视化、输出报表、趋势预测 留存分析 留存(次~7日、14日、30日) 解决问题 用户对游戏的适应性 用户对于游戏的粘性 评估渠道用户的质量、投放渠道效果评估 新增用户什么时候流失在加剧? 注意事项 次日留存一定程度上代表了用户对游戏的满意度 主要反映了游戏初期新手对游戏引导和玩法的适应性 关注用户流失率的同时,需要关注用户流失节点 实际运用 常见的7日连续登录礼包 第七天送大卡就是为了次日和7日留存的漂亮 次留很低,可能原因 新手阶段不友好、开场不吸引人、游戏上手难度大 程序bug太多,闪退,卡死,无法登陆等 功能引导太繁琐 次留不低,但是第3-4天大量流失,可能引起的原因 游戏内容重复,单调、游戏挫败感太强;新手无对应保护等 如果只是某个渠道存在这个问题,可能存在渠道作弊 [略]僵尸用户(回归、留存) 流失用户(日周月、自然流失、回归流失) 周流失用户 上周登录过游戏,本周未登录过游戏的用户占上周周活跃用户比例 解决问题 活跃用户的生命周期是多少 哪个渠道的流失率比较高 版本更新对于用户的流失影响是多大 什么时期用户的流失率比较高 当游戏进入稳定期尤其值得关注该指标 (活跃用户的生命周期是多少, 哪个渠道的流失率比较高, 版本更新对于用户的流失影响是多大, 什么时期用户的流失率比较高) 稳定期一般来讲收入和活跃都相对比较稳定,是产品稳定的风向标 付费用户流失监控 用户运营需要高度重视的数据 找到付费用户流失模型(多少天未登录有多少概率流失) 流失原因分析指标 流失用户行为分析 流失前等级分布 是否存在卡点 流失用户生命周期 流失用户付费金额、流失用户付费次数、人数 流失原因分析——流失用户时间节点 流失前运营手段 运营活动、服务器问题、版本更新(bug、新版本用户不接受) app生态 用户成长体系是否健康 用户调研 用户留存分析流程 第一步:分组 按照不同的(时间/渠道/行为等)维度进行用户分组 时间分组 通常用于看整体数据,看整体留存是否出现异常情况 渠道分组 对比不同渠道留存数据 通过不同渠道数据对比,找到异常渠道数据或排出渠道因素 行为分组 按照功能点使用/未使用分组 第二步:对比 根据用户行为进行分组 例子 看贴功能内浏览了3篇贴子的新用户和仅浏览1篇贴子的新用户进行分析 来自A渠道的新用户进行(有使用看贴/未使用看贴)行为分组比较 渠道对比 是不是某些渠道的量出现问题 用户行为 功能使用及参与度 页面访问路径 衍生指标 人均浏览页面数和时长、启动次数、收藏、点赞、关注、评论等 最好形成漏斗模型,规划合理访问路径 关键路径上面各个页面的浏览量 页面转化&用户进入后一步步的转化情况 是否可以简化流程,减少用户操作步骤 (最好形成漏斗模型,规划合理访问路径) 用户习惯分析 平均使用时长 单次使用时长、日使用时长、周使用时长 可以进一步做渠道细分 平均启动次数 日、周、月启动次数 启动天数 周、月游戏天数 使用间隔 平均多长时间启动/使用一次app 用户对app的依赖程度 各个时间段启动app人数分布 用户行为 短期点击行为、搜索行为、收藏行为 等级分析 各个等级平均耗时 用户成长速度 需要严格控制高端用户成长速度 各个等级用户流失 各个等级次日、3日、7日、14日、30日未登录用户数分布 到底在哪个等级阶段用户流失严重? 各个等级用户分布数量 各个等级游戏次数 各个等级充值数据 累计充值总金额、充值人数、充值次数 哪个阶段是付费高峰期? 各个等级首次充值 各个等级首次充值人数、充值次数、各个等级首次充值金额选择 哪个等级段容易拉动首次充值行为? [辅助]各个等级消耗游戏币数据 新用户等级分析 首日等级 所选期间的新增玩家,在其新增当日中最终玩到的等级分布情况 首周等级 所选期间的新增玩家,在其新增7日后玩到的等级分布情况 14日等级 所选期间的新增玩家,在其新增14日后玩到的等级分布情况 近7日等级变化 堆叠图显示每日各个等级人数变化情况 分析新用户成长 (首日等级, 首周等级, 14日等级) 关卡/任务系统 新手引导转化率 任务参与人数及完成情况 支付转化率 漏斗模型的合理使用 用户传播 分享、互动、邀请等 付费分析 整体数据 付费总额 时间段内付费用户消费总额 收入下降,原因? 付费率下降? 付费用户流失比活跃用户流失严重 流失的是大R用户还是中小R用户?流失了多少个 付费用户停止付费但未流失 大R还是中小R停止付费? 哪些消费点的消费在下降或停止? arpu下降? 付费人数增加了? 付费人数无变化、付费金额下降了 哪些消费点的消费在下降?付费点已经饱和? 付费用户 时间段内进行过付费行为的用户数 其次还有一个付费次数、不去重 新增付费用户(日、周、月) 活跃付费用户数 定义 统计时间段内,成功付费的用户数,一般以月为单位统计 活跃付费用户数=月活跃用户数*月付费率 解决问题 了解产品的付费用户规模 付费用户整体的稳定性 了解付费用户构成 鲸鱼用户、海豚用户、小鱼用户各自数量和比例 注意事项 数据是去重的 ARPU 名词定义 平均每活跃用户收入 统计时间段内,总收入/活跃用户数,一般情况下以月为单位 衡量每个用户带来的平均收益 解决问题 评估不同渠道用户的质量 游戏收益贡献、人均收入 用于产品初期不同规模下的收入预估 (评估不同渠道用户的质量, 游戏收益贡献、人均收入) 注意事项 arpu值很高 ——大R付费能力很强,需要重点关注大R用户 付费率高,arpu值低 ——小R用户较多,要多关注小R用户 ARPPU 名词定义 平均每付费用户收入 统计时间段内,付费用户平均所创造的收入,一般以月为单位统计,因为月的数据相对比较稳定 解决问题 了解游戏付费用户平均的付费情况 付费用户整体的付费趋势 加强对鲸鱼用户的分析和监控 注意事项 容易受到鲸鱼和小鱼用户的影响 付费率(一般看月付费率) 名词定义 时间段内,付费用户数/活跃用户数 首充大礼包就是为了拉付费率 月付费率 名词定义 统计时间段类,付费用户/活跃用户比例,一般以月为单位计算 解决问题 游戏产品的付费引导是否合理、付费转化是否达到预期 用户付费倾向和意愿 需要结合首次付费功能、道具、等级整体分析 注意事项 付费率的高低并不代表付费用户的增加和减少 游戏类型不同,付费率有较大的差异 生命周期 定义 一个用户从首次进入游戏到最后一次参与游戏之间的时间间隔 一般计算平均值 14日LTV(新用户后续付费能力指标) 名词定义 用户在生命周期内所创造的收入 14日LTV 14日LTV=今日注册新用户在后续14天内付费额/注册的新用户数 这里计算的是一个平均值 解决问题 用户在游戏中会待多久 用户对于游戏的贡献价值是多少 付费用户流失数量 本周付费用户下周未登录人数 付费习惯 付费周期 首次付费周期 用户注册到第一次充值的平均时间间隔 付费周期 上一次付费和下一次付费的时间间隔 付费渠道 采用那种支付方式充值?支付宝、微信、公众号等 付费面额 主要为首次充值面额 首次大额度要纳入高端用户维系中去 用户问题、多少天未登录都要及时监控和跟进维系 不同时间段首次付费 用户数量 付费总金额 充值后首次消费行为分析 充值之后第一件事情是购买什么东西? 研究触发用户充值行为的原因,便于优化首充,提升付费率 需要把各个消费点理解透彻 新增付费用户 首次付费用户等级分布 首次付费时间间隔 首次充值面额 结合首次付费用户的游戏天数、累计游戏时长综合分析 (首次付费用户等级分布, 首次付费时间间隔, 首次充值面额) 不同性别/年龄阶段付费分析 首次付费分析 首次付费等级 首次付费周期 首次付费消费结构 首次付费选择订单面额分布 首次付费各个时间节点用户数量及付费总金额 看首次付费正在哪个时间段分布比较多 一周为单位,哪些时间点是付费高峰期? 首次付费用户及后续付费行为 首次付费行为产生原因 充值之后第一件事情是购买什么东西? 发现其中的规律,运营中可以更好利用首次付费 首次付费地域分布 首次付费渠道分布 付费场景 一定程度上可以理解为付费点,在哪些地方会产生付费 消费场景 消费人数和消费次数 鲸鱼用户 每日top100付费用户及累计付费金额数据 账号、id、电话、充值总额、消耗总额、最后登录时间、当前等级 加强对金字塔用户的运营管理 营销效果 新增用户 每小时新增用户 衡量推广效果的最基础指标 新增用户/活跃用户的比例也是衡量产品健康度的标准之一 比例过高,需要关注留存 新增用户渠道分布 活跃用户 渠道分布 启动次数 单次平均使用时长 留存率 检验产品用户吸引力的重要指标 若版本稳定的情况下,留存出现明显波动,很可能是渠道的问题 渠道充值数据 其他 用户行为是否正常、机型、设备分布 其他分析 货币产出和消耗数据 各等级货币消耗 消耗总量 消耗人数 消耗次数 不同道具消耗数据 用户调研 用户来源 用户来自哪里 用户属性 用户是谁 用户在做什么 用户行为 流失原因 用户建议 数据分析模型/方法论 [思维模型]AARRR分析模型 获取(Acquisition) 用户如何发现(并来到)你的产品? 激活(Activation) 用户的第一次使用体验如何? 留存(Retention) 用户是否还会回到产品(重复使用)? 收入(Retention) 产品怎样(通过用户)赚钱? 传播(Retention) 用户是否愿意告诉其他用户? 依据该模型,分出更细分的维度,罗列出影响每一个维度的变量 理解到这里即可,该模型更多的是一个思维模型,也可以叫方法论 (获取(Acquisition), 激活(Activation), 留存(Retention), 收入(Retention), 传播(Retention), 依据该模型,分出更细分的维度,罗列出影响每一个维度的变量) [思维模型]5W2H 何因(Why)、何事(What)、何人(Who)、何时(When)、何地(Where)、如何就(How)、何价(How much) 提供一种问题/业务分析思路 活动运营常用方法论,尤其是编写活动执行案的时候 如何更加全面的思考问题 [思维模型]PEST分析法 用于对宏观环境的分析,包括政治(political)、经济(economic)、社会(social)和技术(technological)四方面 适合做大环境、行业分析,一般情况下用途较少 [思维模型]4P营销理论 分析公司的整体营运情况,包括产品(product)、价格(price)、渠道(place)、促销(promotion)四大要素 以用于公司整体运营情况分析 [思维模型]用户行为理论 主要用于用户行为研究 用户行为理论步骤 认知 网站访问 主要指标有:PV、UV、人均访问页面量、访问来源 熟悉 网站浏览 主要指标有:页面停留时长、跳出率、页面偏好 网站搜索 主要指标有:搜索访问次数等 试用 用户注册 用户注册量、注册转化率 使用 用户登录 登录用户数、DAU等 用户订购 订单量、订购频数、内容、转化率 忠诚 用户粘性 回访者比例、访问深度 用户流失 流失数和流失率 [思维模型]鱼骨图 发现问题“根本原因”的分析方法 多维度分析 细分问题 趋势分析/折线图 数据监控 [思维模型]极简数据分析方法论 3个步骤 确定目标、列出公式、确认元素/字段 3个模型 [提升元素量级]漏斗模型 适用范围:需要多个步骤达成的元素 通过提升转化率,提升单个元素量级 [精细化]多维坐标 精细化运营 通过多维坐标将用户分组,对不同组用户采取对应的运营措施 用户运营也有个经典坐标,叫RFM坐标 [监测数据]分组表格 适用范围:随时间变化的用户属性元素 留存率分组表格 用户行为分析模型 行为事件分析 用户留存分析 魔法数字法 留存与关键用户行为关系组合图 GrowingIO留存曲线 漏斗模型 AIDMA理论是漏斗模型的理论基础 漏斗模型用途 漏斗模型适用于应用中某些关键路径的转化率的分析 以确定整个流程的设计是否合理,各步骤的优劣,是否存在优化的空间等 了解用户使用你应用的真正目的,为他们提供合理的访问路径或操作流程 解决方案思想 扩大漏斗口径 提升转化率 反向漏斗模型 倒推用法——根据目标倒推所需资源配置 趋势、对比、分组 趋势 从时间轴的维度,看某个流程或某个步骤前后优化效果及监控 比较 比较类似产品或服务使用流程转化,发现应用中存在的问题 细分 细分来源或不同的客户类型在转化率上的表现 发现一些高质量的来源或客户,通常用于分析网站的广告或推广的效果及ROI 用户行为路径分析 用户路径的分析结果通常以桑基图形式展现 见友盟——功能使用——页面访问路径 主要用途 分析关键路径上的页面跳转以及转化率,找到流失用户的页面 分析到达关键页面的页面来源,分析关键路径到达的页面 RFM模型/分析法(客户关系管理模型-用户分类方法) R:表示客户最近一次购买的时间 时间差 用户类型(活跃用户、休眠用户、流失用户) 理论上,最近一次消费时间越近的用户应该是比较好的用户 刻画用户的关注程度 F:表示客户在最近一段时间内购买的次数/频数 购买次数count 用户忠诚度 M:表示客户在最近一段时间内购买的平均金额 请注意是平均值 刻画用户的购买力 用户精细化运营常用模型 (R:表示客户最近一次购买的时间, F:表示客户在最近一段时间内购买的次数/频数, M:表示客户在最近一段时间内购买的平均金额) 用户细查 单个用户某行为或过程分析——进而上升到用户群体 如有没有多次获取验证码的情况 热力图 A/B测试(对比测试) 定义 通过对app的两个不同版本进行比较,来确定一个性能更好的方案 核心思想 提供多种方案,最终根据数据效果选择最优方案 注意事项 目标用户群一定是随机分配的 运用 不同创意/不同类型banner数据效果测试 在了解和分析各个渠道质量的时候,也可以运用A/B测试方法论 流失预警模型 分类模型 逻辑树分析法 把问题的所有子问题分层罗列 可用于业务问题专题分析 预测模型、分类模型 神经网络 朴素贝叶斯 支持向量机 K-临近邻算法 随机森林 预测模型 逻辑回归 聚合算法 K-Means 关联算法 Apriori算法 可用于游戏道具组合销售策略 异常检测 辅助算法等 主成分分析 特征选择法 降纬算法 数据分析报告 http://www.woshipm.com/operate/588326.html 运营日报 Excel 运营周报 一页简报——对关键指标汇总+总结,往往是领导要看的数据 多页子页——对关键指标的详细解读和说明、可视化 Excel 运营月报 PPT 数据分析报告 http://www.woshipm.com/data-analysis/677567.html 市场分析 市场需求 市场现状 找到突破口、找到目标用户在哪里 明确目标用户群体 年龄 收入 性别 爱好 目标用户体量 期待抢占多少用户比例 产品定位 基于目标用户需求制定计划 市场分析报告 竞品分析 了解 竞品的目标群体和推广策略 了解竞品运营需求,需要进行整理 了解竞品周边项目和战略布局 5w2h、swot分析 产品分析 产品市场定位 产品体验报告 左右资源 运营资源、技术资源、渠道资源 swot分析 数据运营精髓 通过数据指导运营决策 利用数据驱动业务增长 进一步深入 新增用户 新增设备、新增用户 活跃用户 新用户、老用户;各自数量及占比变化 付费用户 新付费用户、老付费用户;增长衰减变化 收入折线图
软件测试规范 目 录 一.概述 ............................................................................................................................................................ 1 二 软件测试理论 ........................................................................................................................................... 2 1.什么是软件测试 .................................................................................................................................. 2 2.软件测试的目标 .................................................................................................................................. 2 三.软件测试流程 ............................................................................................................................................ 3 1.软件测试流程图 .................................................................................................................................. 3 2.软件测试流程细则 .............................................................................................................................. 4 3.软件测试注意事项 .............................................................................................................................. 5 四.软件测试类型 ............................................................................................................................................ 6 1.模块测试 .............................................................................................................................................. 6 2.子系统测试 .......................................................................................................................................... 6 3.系统测试 .............................................................................................................................................. 6 4.验收测试 .............................................................................................................................................. 6 五.黑盒测试方法 ............................................................................................................................................ 7 1.等价类划分 .......................................................................................................................................... 7 2.因果图 .................................................................................................................................................. 8 3.边值分析法 .......................................................................................................................................... 8 4.猜错法 .................................................................................................................................................. 8 5.随机数法 .............................................................................................................................................. 9 六.白盒测试方法 .......................................................................................................................................... 10 1.语句覆盖 ............................................................................................................................................ 10 2.判定理盖 ............................................................................................................................................ 10 3.条件覆盖 ............................................................................................................................................ 11 4.判定/条件覆盖 ................................................................................................................................ 11 5.条件组合覆盖 .................................................................................................................................... 11 七.测试错误类型 .......................................................................................................................................... 12 八.测试标准 .................................................................................................................................................. 13 附录一 单元测试报告 ................................................................................................................................. 14 附录二 集成测试报告 ................................................................................................................................. 15 附录三 测试大纲 ......................................................................................................................................... 16 附录四 测试大纲附录 ................................................................................................................................. 17 附录五 测试计划 ......................................................................................................................................... 18 附录六 程序错误报告 ................................................................................................................................. 19 附录七 测试分析报告 ................................................................................................................................. 20 软件测试规范 概述 一.概述 本规范是对项目软件测试的一份指导性文件,对软件测试过程中所涉及到的测试理论、测试类型、测试方法、测试标准、测试流程以及软件产品开发单位所承担的职责进行总体规范,以有效保证软件产品的质量。 - 1 - 软件测试规范 软件测试理论 二 软件测试理论 1.什么是软件测试 无论怎样强调软件测试的重要性和它对软件可靠性的影响都不过分。在开发大型软件系统的漫长过程中,面对着极其错综复杂的问题,人的主观认识不可能完全符合客观现实,与工程密切相关的各类人员之间的通信和配合也不可能完美无缺,因此,在软件生命周期的每个阶段都不可避免地会产生差错。我们力求在每个阶段结束之前通过严格的技术审查,尽可能早地发现并纠正差错;但是,经验表明审查并不能发现所有差错,此外在编码过程中还不可避免地会引入新的错误。如果在软件投入生产性运行之前,没有发现并纠正软件中的大部分差错,则这些差错迟早会在生产过程中暴露出来,那时不仅改正这些错误的代价更高,而且往往会造成很恶劣的后果。测试的目的就是在软件投入生产性运行之前,尽可能多地发现软件中的错误。目前软件测试仍然是保证软件质量的关键步骤,它是对软件规格说明、设计和编码的最后复审。软件测试在软件生命周期中横跨两个阶段。通常在编写出每个模块之后就对它做必要的测试(称为单元测试),模块的编写者和测试者是同一个人,编码和单元测试属于软件生命周期的同一个阶段。在这个阶段结束之后,对软件系统还应该进行各种综合测试,这是软件生命周期中的另一个独立的阶段,通常由专门的测试人员承担这项工作。 大量统计资料表明,软件测试的工作量往往占软件开发总工作量的40%以上,在极端情况,测试那种关系人的生命安全的软件所花费的成本,可能相当于软件工程其他开发步骤总成本的三倍到五倍。因此,必须高度重视软件测试工作,绝不要以为写出程序之后软件开发工作就接近完成了,实际上,大约还有同样多的开发工作量需要完成。仅就测试而言,它的目标是发现软件中的错误,但是,发现错误并不是我们的最终日的。软件工程的根本目标是开发出高质量的完全符合用户需要的软件。 2.软件测试的目标 下面这些规则也可以看作是测试的目标或定义: (1)测试是为了发现程序中的错误而执行程序的过程; (2)好的测试方案是极可能发现迄今为止尚未发现的错误的测试方案; (3)成功的测试是发现了至今为止尚未发现的错误的测试。 从上述规则可以看出,测试的正确定义是“为了发现程序中的错误而执行程序的过程”。这和某些人通常想象的“测试是为了表明程序是正确的”,“成功的测试是没有发现错误的测试”等等是完全相反的。正确认识测试的目标是十分重要的,测试目标决定了测试方案的设计。如果为了表明程序是正确的而进行测试,就会设计一些不易暴露错误的测试方案;相反,如果测试是为了发现程序中的错误,就会力求设计出最能暴露错误的测试方案。 由于测试的目标是暴露程序中的错误,从心理学角度看,由程序的编写者自己进行测试是不恰当的。因此,在综合测试阶段通常由其他人员组成测试小组来完成测试工作。此外,应该认识到测试决不能证明程序是正确的。即使经过了最严格的测试之后,仍然可能还有没被发现的错误潜藏在程序中。测试只能查找出程序中的错误,不能证明程序中没有错误。 - 2 - 软件测试规范 软件测试流程 三.软件测试流程 1.软件测试流程图 参与需求分析,了解项目需求内容 了解需求变更 制定《测试计划 》 编写《测试大纲》 编写《单元测试报告》 N 项目组进行修改 配合开发人员进行单元测试 Y 编写《集成测试报告》 N 项目组进行修改 配合开发人员进行集成测试 Y 收集待测软件的各种相关文档及《需求分析》、《软件设计规范》和上一级《测试报告》 N 复合 对待测软件进行测试 项目组进行修改 Y 填写《错误报告》 编写《测试分析报告》 提交《测试分析报告》 所有文件存档 编写《用户操作手册》(帮助文件) 与用户方协商测试相关事宜 - 3 - 软件测试规范 软件测试流程 向用户方提供内部测试汇总报告 配合用户方进行软件测试 用户方签字确认错误报告 项目经理与用户方测试进行确认 2.软件测试流程细则 需求阶段: 测试人员了解项目需求收集结果包括项目需求规格说明、功能结构及模块划分等。 测试人员了解项目需求变更。 测试人员会同项目主管根据软件需求制定并确认《测试计划》(附录五)。 设计编码阶段: 测试人员制定《测试大纲》(附录三、附录四)。 项目开发组对完成的功能模块进行单元测试测试人员参与单元测试过程;单元测试完成,产生单元测试报告。 所有单元测试及相应的修改完成后,项目开发组组织进行集成测试测试人员参与集成测试过程;集成测试完成后,产生集成测试报告。 测试阶段: 项目开发组完成集成测试后,提交测试所要求的待测软件及各种文档、手册、前期测试报告(《需求分析》、《软件设计规范》和上一级《测试报告》附录一、附录二)。 测试组安排和协调测试设备、环境等准备工作。 测试组按测试计划、测试大纲的要求对待测软件进行有效性测试、集成测试。 填写《错误报告》(附录六)。 对修改后的情况进行复合。 测试结束后,测试人员对测试结果进行汇总;测试主管审核测试结果,得出测试结论;测试组进行测试分析和评估,编写《测试分析报告》(附录七)。 提交《测试分析报告》。 将所有文件存档。 对测试未通过的待测软件,测试人员汇总并向项目开发组提交测试错误报告。 项目开发组对测试错误报告进行确认,对有争议的问题可由上一级技术负责人确认和仲裁;项目开发组针对测试错误报告进行逐项修改,修改完成后再将待测软件及错误修改情况提交及测试组进行回归测试。 待测软件测试通过后,项目测评结束。 制作《用户操作手册》(帮助文件)。 用户测试阶段: 项目开发组与用户方商定测试计划、测试内容、测试环境等。 项目测试组向用户方提供项目内部测试汇总报告。 由项目开发组或测试组配合用户进行用户方测试。 由用户方编制用户方软件测试报告(程序错误报告和测试分析报告),若用户方不愿或无法编制测试报告,则经与用户方协商由我方测试人员编制用户方测试报告,经用户方签字后即可生效。 - 4 - 软件测试规范 软件测试流程 项目经理与用户方对用户方测试进行确认。 3.软件测试注意事项 根据《软件开发规范》仔细检查软件的界面是否合乎要求。(每一个子界面也应如此) 其中,应注意提示信息和软件开发商信息是否正确。小的图标是否合乎要求。检查菜单当中的各项功能和功能按钮是否能正确使用。 根据《软件开发规范》和《用户需求》及《软件详细设计》设计测试用例。(以边界值法、等价类划分法为主)。对功能界面要求注意与功能相关的信息显示及显示位置是否正确。数据输入界面应注意文字格式及数字和文字的区别。是否能够正确保存信息。数据查询(显示)界面应注意显示信息是否正确和完整。是否能正确查询。对打印功能要求注意打印出的报表是否正确。(包括报表各项信息、数据信息和报表字体等)。 这一项测试主要是对软件的错误处理功能进行测试。就是进行错误的操作或输入错误的数据,检查软件对这些情况是否能做出判断并予以提示。 特殊情况下要制造极端状态和意外状态,比如网络异常中断、电源断电等情况。 一定要注意测试中的错误集中发生现象,这和程序员的编程水平和习惯有很大的关系。 对测试错误结果一定要有一个确认的过程。一般有A测试出来的错误,一定要有一个B来确认,严重的错误可以召开评审会进行讨论和分析。 制定严格的测试计划,并把测试时间安排得尽量宽松,不要希望在极短的时间内完成一个高水平的测试。 回归测试的关联性一定要引起充分的注意,修改一个错误而引起更多错误出现的现象并不少见。 妥善保存一切测试过程文档,意义是不言而喻的,测试的重现性往往要靠测试文档。 - 5 - 软件测试规范 软件测试类型 四.软件测试类型 除非是测试一个小程序,否则一开始就把整个系统作为一个单独的实体来测试是不现实的。与开发过程类似,测试过程也必须分步骤进行,每个步骤在逻辑上是前一个步骤的继续。大型软件系统通常由若干个子系统组成,每个子系统又由许多模块组成。因此,大型软件系统的测试基本上由下述几个步骤组成: 1.模块测试 在设计得好的软件系统中,每个模块完成一个清晰定义的子功能,而且这个子功能和同级其他模块的功能之间没有相互依赖关系。因此,有可能把每个模块作为一个单独的实体来测试,而且通常比较容易设计检验模块正确性的测试方案。模块测试的目的是保证每个模块作为一个单元能正确运行,所以模块测试通常又称为单元测试。在这个测试步骤中所发现的往往是编码和详细设计的错误。 2.子系统测试 子系统测试是把经过单元测试的模块放在一起形成一个子系统来测试。模块相互间的协调和通信是这个测试过程中的主要问题,因此这个步骤着重测试模块的接口。 3.系统测试 系统测试是把经过测试的于系统装配成一个完整的系统来测试。在这个过程中不仅应该发现设计和编码的错误,还应该验证系统确实能提供需求说明书中指定的功能,而且系统的动态特性也符合预定要求。在这个测试步骤中发现的往往是软件设计中的错误,也可能发现需求说明中的错误。不论是子系统测试还是系统测试,都兼有检测和组装两重含义,通常称为集成测试。 4.验收测试 验收测试把软件系统作为单一的实体进行测试测试内容与系统测试基本类似,但是它是在用户积极参与下进行的,而且可能主要使用实际数据(系统将来要处理的信息)进行测试。验收测试的目的是验证系统确实能够满足用户的需要,在这个测试步骤中发现的往往是系统需求说明书中的错误。 - 6 - 软件测试规范 黑盒测试方法 五.黑盒测试方法 黑盒测试( lack— ox testing)又称功能测试数据驱动测试或基于规范的测试(即ec颠cation— ased testing)。用这种方法进行测试时,被测程序被当作看不见内部的黑盒。在完全不考虑程序内部结构和内部特性的情况下,测试者仅依据程序功能的需求规范考虑确定测试用例和推断测试结果的正确性。因此黑盒测试是从用户观点出发的测试,黑盒测试直观的想法就是既然程序被规定做某些事,那我们就看看它是不是在任何情况下都做的对。完整的“任何情况”是无法验证的,为此黑盒测试也有一套产生测试用例的方法,以产生有限的测试用例而覆盖足够多的“任何情况”。由于黑盒测试不需要了解程序内部结构,所以许多高层的测试如确认测试、系统测试、验收测试都采用黑盒测试。 黑盒测试首先是程序通常的功能性测试。要求: 每个软件特性必须被一个测试用例或一个被认可的异常所覆盖。 用数据类型和数据值的最小集测试。 用一系列真实的数据类型和数据值运行,测试超负荷、饱和及其他“最坏情况”的结果; 用假想的数据类型和数据值运行,测试排斥不规则输入的能力; 对影响性能的关键模块,如基本算法、应测试单元性能(包括精度、时间、容量等)。 不仅要考核“程序应该做什么?”还要考察“程序是否做了不该做的2”同时还要考察程序在其他一些情况下是否正常。这些情况包括数据类型和数据值的异常等等。下述几种方法:(a)等价类划分,( )因果图方法,(c)边值分析法,(d)猜错法,(e)随机数法,就是从更广泛的角度来进行黑盒测试。每一个方法都力图能涵盖更多的“任何情况”,但又各有长处,综合使用这些方法,会得到一个较好的测试用例集。 1.等价类划分 等价类划分是一种典型的黑盒测试方法。等价类是指某个输入域的集合。它表示对揭露程序中的错误来说,集合中的每个输入条件是等效的。因此我们只要在一个集合中选取一个测试数据即可。等价类划分的办法是把程序的输入域划分成若干等价类,然后从每个部分中选取少数代表性数据当作测试用例。这样就可使用少数测试用例检验程序在一大类情况下的反映。 在考虑等价类时,应该注意区别以下两种不同的情况: 有效等价类:有效等价类指的是对程序的规范是有意义的、合理的输入数据所构成的集合。在具体问题中,有效等价类可以是一个,也可以是多个。 无效等价类:无效等价类指对程序的规范是不合理的或无意义的输入数据所构成的集合。对于具体的问题,无效等价类至少应有一个,也可能有多个。 确定等价类有以下几条原则: 如果输入条件规定了取值范围或值的个数,则可确定一个有效等价类和两个无效等价类。例如,程序的规范中提到的输入条包括“??项数可以从1到999??”,则可取有效等价类为“l<项数<999”,无效等价类为“项数<l,,及“项数>999”。 输入条件规定了输入值的集合,或是规定了“必须如何”的条件,则可确定一个有效等价类和一个无效等价类。如某程序涉及标识符,其输入条件规定“标识符应以字母开头??”则“以字母开头者”作为有效等价类,“以非字母开头”作为无效等价类。 如果我们确知,已划分的等价类中各元素在程序中的处理方式是不同的,则应将此等价类进一步划分成更小等价类。 输入条件 。。。。。。 。。。。。。 有效等价类 。。。。。。 。。。。。。 无效等价类 。。。。。。 。。。。。。 根据已列出的等价类表,按以下步骤确定测试用例: 为每个等价类规定一个唯一的编号; - 7 - 软件测试规范 黑盒测试方法 设计一个测试用例,使其尽可能多地覆盖尚未覆盖的有效等价类。重复这一步,最后使得所有有效等价类均被测试用例所覆盖; 设计一个新的测试用例,使其只覆盖一个无效等价类。重复这一步,使所有无效等价类均被覆盖。这里强调每次只覆盖一个无效等价类。这是因为一个测试用例中如果含有多个缺陷,有可能在测试中只发现其中的一个,另一些被忽视。等价类划分法能够全面、系统地考虑黑盒测试测试用例设计问题,但是没有注意选用一些“高效的”、“有针对性的”测试用例。后面介绍的边值分析法可以弥补这一缺点。 2.因果图 等价类划分法并没有考虑到输入情况的各种组合。这样虽然各个输入条件单独可能出错的情况已经看到了,但多个输入情况组合起来可能出错的情况却被忽略。采用因果图方法能帮助我们按一定步骤选择一组高效的测试用例,同时,还能为我们指出程序规范的描述中存在什么问题。 利用因果图导出测试用例需要经过以下几个步骤: 分析程序规范的描述中哪些是原因,哪些是结果。原因常常是输入条件或是输入条件的等价类。结果是输出条件。 分析程序规范的描述中语义的内容,并将其表示成连接各个原因与各个结果的“因果图”。 由于语法或环境的限制,有些原因和结果的组合情况是不可能出现的。为表明这些特定的情况,在因果图上使用持殊的符号标明约束条件。把因果图转换成判定表。把判定表的每一列写成一个测试用例。 3.边值分析法 边值分析法是列出单元功能、输入、状态及控制的合法边界值和非法边界值,设计测试用例,包含全部边界值的方法。典型地包括IF语句中的判别值,定义域、值域边界,空或畸形输入,末受控状态等。边值分析法不是一类找一个例子的方法,而是以边界情况的处理作为主要目标专门设计测试用例的方法。另外,边值分析不仅考查输入的边值,也要考虑输出的边值。这是从人们的经验得出的一种有效方法。人们发现许多软件错误只是在下标、数据结构和标量值的边界值及其上、下出现,运行这个区域的测试用例发现错误的概率很高。 用边值分析法设计测试用例时,有以下几条原则: 如果输入条件规定了取值范围,或是规定了值的个数,则应以该范围的边界内及刚刚超出范围的边界外的值,或是分别对最大、最小及稍小于最小、稍大于最大个数作为测试用例。如有规范“某文件可包含l至255”个记录??“,则测试用例可选1和255及0和256等。 针对规范的每个输出条件使用原则〔a〕。 如果程序规范中提到的输入或输出域是个有序的集合(如顺序文件、表格等)就应注意选取有序集的第一个和最后一个元素作为测试用例。 分析规范,尽可能找出可能的边界条件。一个典型的边值分析例子是三角形分类程序。选取a, ,c构成三角形三边,“任意两边之和大于第三边”为边界条件。边值分析相等价类划分侧重不同,对等价类划分是一个补充。如上述三角形问题,选取a=3, =4,c=5,a=2, =4,c=7则覆盖有效和无效等价类。如果能在等价类划分中注入边值分析的思想。在每个等价类中不只选取一个覆盖用例,而是进而选取该等价类的边界值等价类划分法将更有效,最后可以用边值分析法再补充一些测试用例。 4.猜错法 猜错法在很大程度上是凭经验进行的,是凭人们对过去所作的测试工作结果的分析,对所揭示的缺陷的规律性作直觉的推测来发现缺陷的。 一个采用两分法的检索程序,典型地可以列出下面几种测试情况: 被检索的表只有一项或为空表; - 8 - 软件测试规范 黑盒测试方法 表的项数恰好是2的幂次; 表的项数比2的幂次多1等。 猜错法充分发挥人的经验,在一个测试小组中集思广益,方便实用,特别在软件测试基础较差的情况下,很好地组织测试小组 (也可以有外来人员)进行错误猜测,是有效的测试方法。 5.随机数法 即测试用例的参数是随机数。它可以自动生成,因此自动化程度高。使用大量随机测试用例测试通过的程序会提高用户对程序的信心。但其关键在于随机数的规律是否符合使用实际。 - 9 - 软件测试规范 白盒测试方法 六.白盒测试方法 白盒法测试,是以程序的内部逻辑为基础,有选择地执行程序中最有代表性的通路。因此,白盒法也叫逻辑覆盖法( gic MM阴e)。最彻底的逻辑覆盖法,是覆盖程序巾的诲一条通路。但当程序中含有大量循环时,要执行每一条通路是44可能的。因此,我们只能寄希望于程序的覆盖度尽可能高一些。目前常用的一些覆盖标准有:语句覆盖、判定覆盖、条件澄盖、判定涤件覆盖、条件组合覆盖、路径覆盖等。 白盒法考虑的是测试用例对程序内部逻辑的覆盖程度,所以又称为逻辑覆盖法。最彻底的白盒法是覆盖程序中的每一条路径,但这不可能,我们希望覆盖的路径尽可能多一些。为了衡量测试的覆盖程度,需要建立一些标准,目前常用的一些覆盖标准是: (1)语句覆盖; (2)判定覆盖; (3)条件覆盖; (4)判定/条件覆盖; (5)条件组合覆盖。 1.语句覆盖 程序的某次运行一般并不能执行到其中的每一个语句,因此,如果某语句含有一个错误,而它在测试中没执行,这个错误就不可能被发现。为了提高发现错误的可能性,应该在测试时至少要执行程序中的每一个语句。 所谓“语句覆盖”测试标准,它的含义是:选择足够的测试用例,使得程序中每个语句至少都能执行一次。 例子: e Example( A,B,C:eal) egin if(1)and(B=0) then x:=A; if(A=2)(1) then x:=x+l end; 为了使程序中每个语句至少执行一次,只需设计一个能通过路径ace的例子就可以了。例如选择输入数据为: A=2,B=0,x=3 就可达到“语句覆盖”标准。 显然,语句覆盖是一个比较弱的覆盖标准。如果第一个条件语句中的and错误地写成,上面的测试用例是不能发现这个错误的,或者是第二个条件语句中1误写成0,这个测试用例也不能暴露它。我们还可以举出许多错误情况是上述测试数据不能发现的。所以,一般认为“语句覆盖”是很不充分的最低的一种覆盖标准。 2.判定理盖 比“语句覆盖”稍强的覆盖标准是“判定覆盖”(或称分支覆盖)。这个标准是:执行足够的测试用例,使得程序中每个判定至少都获得一次“真”值和“假”值,即使得程序中的每一个分文至少都通过一次。 对上面那个例子,如果设计两个测试用例,就可以达到“判定覆盖”的标难。为此,我们可以选择输人数据为: (1)A=3,B=0,x=l - 10 - 软件测试规范 白盒测试方法 (2)A=2,B=1,x=3 “判定覆盖”比“语句覆盖”严格,因为如果每个分支都执行过了,自然每个语句也就执行了。 3.条件覆盖 它的含义是:执行足够的测试用例,使得判定中每个条件获得各种可能的结果。 对于例子程序,我们只需设计以下两个测试用例就可满足这标准: (1)A=2,B=o,x=4(沿路径ace执行) (2)A=1,B=l,x=l(沿路径aN执行) 虽然同样只要两个测试用例,但它比判定覆盖中两个测试用例更有效。一般来说,“条件覆盖”比“判定覆盖”强,但是,并不总是如此,满足“条件覆盖”不一定满足“判定覆盖”。例如对语句。 IF(A AND B)THEN S 设计两个测试用例:A“真”B“假”和A“假”B“真”。对于上例我们设计两个测试用例为: (1)A=1,B=o,x=3 (2)A=2,B=l,x=1 亦是如此,它们能满足“条件覆盖”但不满足“判定覆盖”。 4.判定/条件覆盖 针对上面的问题引出了另一种覆盖标准,这就是“判定/条件覆盖”,它的含义是:执行足够的测试用例,同时满足判定覆盖和条件覆盖的要求。显然,它比“判定覆盖”和“条件覆盖”都强。 对于例子程序,我们选取测试用例: (1)A=2,B=0,x=4 (2)A=1,B=l,x=l 它满足判定/条件覆盖标准。 值得指出,看起来“判定/条件覆盖”似乎是比较合理的,应成为我们的目标,但是事实并非如此,因为大多数计算机不能用一条指令对多个条件作出判定,而必须将源程序中对多个条件的判定分解成几个简单判定。这个讨论说明了,尽管“判定/条件覆盖”看起来能使各种条件取到所有可能的值,但实际上并不一定能检查到这样的程度。针对这种情况,有下面的条件组合覆盖标准。 5.条件组合覆盖 “条件组合覆盖”的含义是:执行足够的测试用例,使得每个判定中条件的各种可能组合都至少执行一次。这是一个最强的逻辑覆盖标准。 再看例子程序,必须使测试用例覆盖八种组合结果 (1)1,B=0 (5)A=2,1 (2)1,0 (6)A=2,1 (3)l,B=0 (7)2,1 (4)1,0 (8)2,1 必须注意到,(5)、(6)、(7)、(8)四种情况是第二个条件语句的条件组合,而x的值在该语句之前是要经过计算的,所以我们还必须根据程序的逻辑推算出在程序的人口点x的输入值应是什么。 要测试八个组合结果并不是意味着需要八种测试用例,事实上,我们能用四种测试用例来覆盖它们: (1)A=2,B=o,x=4; (2)A=2,B=1,x=l; (3)A=l,B=o,x=2; (4)A=1,B=1,x=l。 上面四个例子虽然满足条件组合覆盖,但并不能覆盖程序中的每一条路径,可以看出条件组合覆盖仍然是不彻底的,在白盒测试时,要设法弥补这个缺陷。 - 11 - 软件测试规范 测试错误类型 七.测试错误类型 本规范定义以下五类测试错误类型。 A类—严重错误,包括以下各种错误: 由于程序所引起的死机,非法退出 死循环 数据库发生死锁 因错误操作导致的程序中断 功能错误 与数据库连接错误 数据通讯错误 B类—较严重错误,包括以下各种错误: 程序错误 程序接口错误 数据库的表、业务规则、缺省值未加完整性等约束条件 C类—一般性错误,包括以下各种错误: 操作界面错误(包括数据窗口内列名定义、含义是否一致) 打印内容、格式错误 简单的输入限制未放在前台进行控制 删除操作未给出提示 数据库表中有过多的空字段 D类—较小错误,包括以下各种错误: 界面不规范 辅助说明描述不清楚 输入输出不规范 长操作未给用户提示 提示窗口文字未采用行业术语 可输入区域和只读区域没有明显的区分标志 E类—测试建议 - 12 - 软件测试规范 测试标准 八.测试标准 黑盒测试的通过准则一般有: 单元功能同设计需求一致; 规定的路径覆盖率及覆盖类达到要求,且单元执行正确; 所规定的黑盒测试手段被使用,且单元执行正确; 对残留错误有合法解释或被认可暂留; 虽然路径覆盖率不能达到,但其他各测试的错误查出率趋产0或稳定(时间的长短视情况而定)。 各类软件测试合格须符合以下标准。 A类错误 无 B类错误 无 C类错误 1% D类错误 5% E类建议 暂不作要求 以上比例为错误占总测试模块的比例。 软件产品未经测试合格,不允许出公司。 - 13 - 软件测试规范 附录一 单元测试报告 附录一 单元测试报告 1 测试过程与结果 1.1 (某程序模块 文档名称)测试 测试对象:(某程序模块 文档) 测试方面:(设计规范 应用功能及流程 程序代码) 责任人: 测试人及测试时间: 问题及影响、处理结果: 1.2 (某程序模块 文档名称)测试 测试对象:(某程序模块 文档) 测试方面:(设计规范 应用功能及流程 程序代码) 责任人: 测试人及测试时间: 问题及影响、处理结果: …… 2 测试结论 对单元测试的结果评价。 测试负责人: 审核(项目经理): 年 月 日 年 月 日 - 14 - 软件测试规范 附录二 集成测试报告 附录二 集成测试报告 项目名称 测试人 项目编号 测试时间 问题类型: 程序代码 数据库 项目文档 问题及影响描述、处理结果(可加附页) 测试结论 测试负责人: 年 月 日 审核(项目经理): 年 月 日 - 15 - 软件测试规范 附录三 测试大纲 附录三 测试大纲 1 概述 1.1 编写目的 [可照抄下列语句,也可适当修改。] 本文档的编写目的在于为XXXX(软件名称)软件测试人员提供详细的测试步骤和测试数据,以保证测试人员对软件测试的正确性和完整性。 1.2 参考资料 说明软件测试所需的资料(需求分析、设计规范等)。 1.3 术语和缩写词 说明本次测试所涉及到的专业术语和缩写词等。 1.4 测试内容和测试种类 2 系统结构 图表形式表示。 3 测试目的 4 测试环境 4.1 硬件 列出进行本次测试所需的硬件资源的型号、配置和厂家。 4.2 软件 列出进行本次测试所需的软件资源,包括操作系统和支持软件(不含待测软件)的名称、版本、厂家。 5 人员 列出一份清单,说明在整个测试期间人员的数量、时间、技术水平的要求。 6 测试说明 可以把整个测试过程按逻辑划分为几个组(包括测试计划中描述的总体测试要求的每个方面),并给每个组命名一个标识符。 6.1 [测试1名称及标识符]说明 6.1.1 测试概述 对测试1进行一个总体描述,主要说明这组测试的基本内容。 6.1.2 测试准备 描述本测试开始前系统必须具备的状态和数据。 6.1.3 测试步骤 对各测试操作按先后顺序进行编号。具体操作和数据见附录。 6.2 [测试2名称及标识符]说明 测评组: 年 月 日 - 16 - 软件测试规范 附录四 测试大纲附录 附录四 测试大纲附录 本附录描述了各测试步骤的详细说明,在填入测试结果后,可直接作为测试记录。内容较多时,可一页只放一个测试说明。 测试名称: 测试时间: 操作序号 说明输入的具体数据或动作 测试输入 说明预期的输出或结果 预期输出 标识符: 测试人: 错误等级 说明实际的输出或结果 实际输出 操作序号 说明输入的具体数据或动作 错误等级 测试输入 预期输出 实际输出 - 17 - 软件测试规范 附录五 测试计划 附录五 测试计划 1 概述 1.1 编写目的 [可照抄下列语句,也可适当修改。] 本文档的编写目的在于为整个测试阶段的管理工作和技术工作提供指南;确定测试的内容和范围,为评价系统提供依据。 1.2 参考资料 说明软件测试所需的资料(需求分析、设计规范等)。 1.3 术语和缩写词 说明本次测试所涉及到的专业术语和缩写词等。 1.4 测试种类 说明本次测试所属的测试种类(单元测试、集成测试、有效性测试、系统测试、用户测试)及测试的对象。 2 系统描述 简要描述被测软件系统,可用图表加解释的形式,说明被测系统的输入、基本处理功能及输出,为进行测试提供一个提纲。 3 测试环境 3.1 硬件 列出进行本次测试所需的硬件资源的型号、配置和厂家。 3.2 软件 列出进行本次测试所需的软件资源,包括操作系统和支持软件(不含待测软件)的名称、版本、厂家。 4 测试安排 4.1 (子系统1名称和项目唯一标识号) 4.1.1 测试总体要求 描述本次测试的要求,如: 对所有功能进行正确性测试; 使用一些虚假值、最大值和错误值对软件进行测试; 对软件进行错误检测和出错恢复的测试; 对特定环境条件的组合,用模拟测试数据对软件进行测试; 使用从环境中提取的“真实数据”作为输入,对软件进行测试。 4.1.2 主要测试内容 列出提纲。 4.1.3 测试进度安排 给出进行测试工作的时间安排。 4.2 (子系统2名称和项目唯一标识号) 5 测试数据的记录、整理和分析 说明对本次测试得到数据的记录、整理和分析的方法和存档要求。 审核: 年 月 日 批准: 年 月 日 - 18 - 软件测试规范 附录六 程序错误报告 附录六 程序错误报告 (系统名称) 测试项目 项目名称 测试类型 模块名称 测试时间 序号 模块名称 错误等级 错 误 描 述 版本 测试批次 修改情况 复 核 测试人: - 19 - 软件测试规范 附录七 测试分析误报告 附录七 测试分析报告 1 概述 1.1 编写目的 编写本文档的目的在于 通过对测试结果的分析得到对软件的评价; 为纠正软件缺陷提供依据; 使用户对系统运行建立信心。 1.2 参考资料 说明软件测试所需的资料(需求分析、设计规范等)。 1.3 术语和缩写词 说明本次测试所涉及到的专业术语和缩写词等。 2 测试对象 包括测试项目、测试类型、测试批次(本测试类型的第几次测试)、测试时间等。 3 测试分析 3.1 测试结果分析 列出测试结果分析记录,并按下列模板产生BUG分布表和BUG分布图。 分析模版: 从软件测试中发现的并最终确认的错误点等级数量来评估: 从以上提出的BUG等级来统计等级和数量的一个分布情况:(如下表) BUG数量 所占比例 A 2 9% B 17 74% C 3 13% D 0 0% E 1 4% BUG分布图 0%4%9% A级 B级C级D级E级 74% 3.2 对比分析 若非首次测试时,将本次测试结果与首次测试、前一次测试的结果进行对比分析比较。 3.3 测试评估 通过对测试结果的分析提出一个对软件能力的全面分析,需标明遗留缺陷、局限性和软件的约束限制等,并提出改进建议。 3.4 测试结论 根据测试标准及测试结果,判定软件能否通过测试测试主管: 年 月 日
数据运营 作用&意义 知错能改,善莫大焉 —错在哪里,数据分析告诉你 运筹帷幄,决胜千里 —怎么做好“运筹”,数据分析告诉你 以往鉴来,未卜先知 —怎么发现历史的规律以预测未来,数据分析告诉你 工作思维 对业务的透彻理解是数据分析的前提 数据分析是精细化运营,要建立起体系化思维(金字塔思维) 自上而下 目标—维度拆解—数据分析模型—发现问题—优化策略 自下而上 异常数据 影响因素 影响因素与问题数据之间的相关关系 原因 优化策略 数据化运营7大经典思路 以目标为导向,学会数据拆分 细分到极致 追踪思路 运营的问题,是追踪出来的,不是一次就看出来的 所有的数据都是靠积累和沉淀才能发现问题,单一的数字没有任何意义,只能称为 “数值” 结合/拆分思路 追踪数据,多个维度结合分析。 从多个维度拆分数据 对比思路 大的营销事件作为节点单独标记,数据剔除出来单独进行分析 节点思路 如运营活动等 行为标记思路 将大动作的优化,大的项目上线及时标注在数据报表中 培养数据的敏感度 培养数据思维,从每天的各种数据报表开始 数据来源 数据埋点 初级 追踪每次用户的行为,统计关键流程的使用程度 中级 在产品中植入多段代码追踪用户连续行为,建立用户模型来具体化用户在使用产品中的操作行为 高级 研发团队合作,通过数据埋点还原出用户画像及用户行为 常用数据分析工具 友盟、Talkingdata 友盟的页面访问分析,对帮助分析用户流失有重要指导意义 网站Alexa排名查询、爱站网、中国网站排名、网络媒体排名 禅大师、ASO100 各种指数 百度指数、搜狗指数、腾讯浏览指数、360指数、某视频网站指数 数据库、运营后台等 工作内容 数据监控 检测异常指标,发现用户对您产品的”怒点“ 如:多次获取手机验证码,次数剧增 这里需要考虑有一个监控指标 新功能数据分析 通过留存曲线检验新功能的效果 通过留存看新功能用户的接受程度 通过用户反馈或调研,了解新功能接受度 数据指标 标记: 红色 整体概况 1、[大盘数据]用户及收入表格+折线图 注册用户(今天、昨日、近3天、近7日、近30天、全部) 新增用户、付费用户、充值总额 2、同时在线趋势折线图 在线人数一向是游戏火热程度的最好衡量 需要有同期对比功能,有参照物才能更好的比较 3、付费渗透 日付费率变化折线图 日付费率通常不稳定,一般情况下看周付费率或月付费率 付费率=充值人数/活跃人数*100% ARPU值变化折线图 ARPU值=总收入/活跃人数 ARPU值影响因素 活跃人数DAU发生较大变化 运营活动影响 金字塔 大R 是否有大R用户异常波动(大R用户流失或大R用户进入) 中、小R 大量中R、小R用户出现或消失 ARPPU值变化折线图 ARPPU值=总收入/付费人数 可以用来监控大R用户异常变化情况 如果该值异常波动,请进一步看鲸鱼用户数据 4、用户留存 新用户留存 次日、3日、7日、14日、30日留存 次日留存是对玩家“第一游戏体验”的最佳印证 与游戏的类型、题材、玩法、美术风格、游戏前期内容吸引度、新手引导有效性有直接的相关性 如果导入的新增玩家群体对游戏题材、玩法、美术风格不予认可,留存将会很差,且可优化的空间较小 优化新手引导和前期的游戏内容则可以有效帮助提升次日留存 7日、30日留存则与游戏难度、持续的活动运营、游戏内奖励机制有密不可分的关系 活跃用户留存 一般不分析活跃用户留存,而是通过DAU观察活跃用户流失数据 留存是评定游戏综合质量的最佳指标 5、平均使用时长和平均使用次数 可以使用柱状图来展现 两项宏观行为指标可反映出用户对app的依赖程度 如果留存较好,但时长和次数均不高,则可能是因过于强调每日登录奖励,但持续的app内容用户家缺乏吸引力所致 用户分析 用户规模 下载数量 新增用户 定义:每日注册并登录游戏的用户数量 ——解决问题 渠道贡献新用户份额分布,监控重点渠道 宏观走势,是否需要进行市场投放 判断是否存在渠道作弊行为、渠道包被下架等问题 日一次会话用户数 即新登用户中只有一次会话,且会话时长低于门阀值 ——解决问题 推广渠道是否有刷量作弊行为 渠道推广质量是否合格 用户导入是否存在障碍点,如网络状况和加载时间等 用户获取成本 解决问题 获取有效新登用户成本 如何选择正确的渠道优化投放 需要根据渠道来细分不同渠道的获取用户成本 了解用户成本 活跃用户 DAU(日活跃用户) 定义 每日登录过游戏的用户 解决问题 了解游戏的核心用户规模 了解游戏产品生命周期变化趋势、渠道活跃用户生命周期 了解游戏产品老用户流失和活跃情况 注意事项 日活跃=新增用户+回流用户+老用户 如果日活跃依靠新增为维持,留存肯定有问题 健康比例3:7,当然不同产品会有一定差异 WAU(周活跃用户) 定义 截止当日,最近一周含当日的7天内,登录过游戏的用户,一般按照自然周计算 解决问题 游戏的周期用户规模 游戏产品的周期性/每周变化趋势衡量 注意事项 利于在不同活跃用户规模的维度上发现和掌握游戏用户规模的变动 数据去重 MAU(月活跃用户) 定义 截止到当天,最近30天(含30天)登录过游戏的用户 解决问题 游戏总体用户规模并评估用户规模稳定性 推广效果评估 了解产品的粘性 注意事项 MAU层级的用户规模更加具有稳定性、相对变化很小 某个时期或版本更新对其可能也产生较大影响 数据去重 一定程度上可以观察游戏的生命周期 DAU/MAU(日活跃用户和月活跃用户的比例值) 一般极低值为0.2 保证产品能够达临界规模的病毒式传播和用户粘度 忠实用户 连续3周登录的用户 目前分析价值不大 用户活跃 启动次数(时、日、周、月) 每日启动1次计算为1次启动 需要有一个间隔时间,30秒内多次启动只能计算为1次 解决问题 衡量用户粘度,数值越大越好 识别优质渠道,渠道是否存在刷量 什么渠道/用户启动次数多 日均使用时长 定义 活跃用户每日平均在线时长 解决问题 游戏的参与度怎么样 产品质量把控指标,游戏粘度如何 渠道质量如何 与单次使用时长结合分析留存和流失问题 用户活跃度 DAU/MAU,理论上不低于0.2,0.2*30=6天 解决问题 游戏的人气是增长、衰退还是稳定? 看趋势 一个月中,用户的活跃天数是多少 用户的游戏参与度如何 用户活跃率 活跃率=活跃用户/总用户 了解你的用户的整体活跃度,但随着时间周期的加长,用户活跃率总是在逐渐下降的 用户层次(轻度、中、重) 轻度用户:每周登录1~2次的用户 中度用户:每周登录3~5次的用户 重度用户:每周登录6~7次的用户 解决问题 了解用户忠实度,能否走得动”口碑传播“ 在线统计 实时在线曲线(每5分钟统计一次当时的用户同时在线人数) 上周同期对比 平均同时在线人数、最高同时在线人数和时间 每小时注册用户数 用户在什么节点来的多,需要重点监控该时间段app运行 用户画像 概述 是什么,有什么用,怎么做 构建用户画像的核心工作即是给用户贴“标签”,而标签是通过对用户信息分析而来的高度精炼的特征标识 作用 精准营销 分析产品潜在用户,针对特定群体利用短信、邮件等方式进行营销 用户统计 如购买某类书籍人数 TOP10 数据挖掘 定义 把散乱数据转换成有价值信息的过程 效果评估 完善产品运营,提升服务质量 其实这也就相当于市场调研、用户调研,定位服务群体,提高服务 个性化服务 对服务或产品进行私人定制,精准到某一类甚至每一位客户提供个性化服务 基本构成 用户静态属性 基本指标 年龄、性别、地域、学历、角色、收入、婚姻状态、职业 每个指标均需要从多个角度来分析,以区域为例 各区域充值总金额、充值人数、充值次数、付费率、arpu值分布 交叉分析 以区域和性别为例 不同性别+不同地域环境下,付费率数据…… 渠道分布 品牌、机型、操作系统、分辨率、联网、版本、设备均价、运营商 单设备注册账号数分析 可以分析小号分布情况 用户动态属性 动态属性指具有可变性 基本指标 用户的兴趣爱好、兴趣标签 在互联网上的活动行为特征 用户行为分析环节深入分析 用户消费属性 消费属性指用户的消费意向、消费意识、消费心理、消费嗜好等,对用户的消费有个全面的数据记录,对用户的消费能力、消费意向、消费等级进行很好的管理 用户心理属性 心理属性指用户在环境、社会或者交际、感情过程中的心理反应,或者心理活动 目前,用户心理相对会有难度,不用过多考虑 怎么做 数据收集 数据太多可以采用抽样的方法 数据建模 根据所获取到的数据建立模型,注入数据调整模型参数 数据分析及预测 数据可视化、输出报表、趋势预测 留存分析 留存(次~7日、14日、30日) 解决问题 用户对游戏的适应性 用户对于游戏的粘性 评估渠道用户的质量、投放渠道效果评估 新增用户什么时候流失在加剧? 注意事项 次日留存一定程度上代表了用户对游戏的满意度 主要反映了游戏初期新手对游戏引导和玩法的适应性 关注用户流失率的同时,需要关注用户流失节点 实际运用 常见的7日连续登录礼包 第七天送大卡就是为了次日和7日留存的漂亮 次留很低,可能原因 新手阶段不友好、开场不吸引人、游戏上手难度大 程序bug太多,闪退,卡死,无法登陆等 功能引导太繁琐 次留不低,但是第3-4天大量流失,可能引起的原因 游戏内容重复,单调、游戏挫败感太强;新手无对应保护等 如果只是某个渠道存在这个问题,可能存在渠道作弊 [略]僵尸用户(回归、留存) 流失用户(日周月、自然流失、回归流失) 周流失用户 上周登录过游戏,本周未登录过游戏的用户占上周周活跃用户比例 解决问题 活跃用户的生命周期是多少 哪个渠道的流失率比较高 版本更新对于用户的流失影响是多大 什么时期用户的流失率比较高 当游戏进入稳定期尤其值得关注该指标 (活跃用户的生命周期是多少, 哪个渠道的流失率比较高, 版本更新对于用户的流失影响是多大, 什么时期用户的流失率比较高) 稳定期一般来讲收入和活跃都相对比较稳定,是产品稳定的风向标 付费用户流失监控 用户运营需要高度重视的数据 找到付费用户流失模型(多少天未登录有多少概率流失) 流失原因分析指标 流失用户行为分析 流失前等级分布 是否存在卡点 流失用户生命周期 流失用户付费金额、流失用户付费次数、人数 流失原因分析——流失用户时间节点 流失前运营手段 运营活动、服务器问题、版本更新(bug、新版本用户不接受) app生态 用户成长体系是否健康 用户调研 用户留存分析流程 第一步:分组 按照不同的(时间/渠道/行为等)维度进行用户分组 时间分组 通常用于看整体数据,看整体留存是否出现异常情况 渠道分组 对比不同渠道留存数据 通过不同渠道数据对比,找到异常渠道数据或排出渠道因素 行为分组 按照功能点使用/未使用分组 第二步:对比 根据用户行为进行分组 例子 看贴功能内浏览了3篇贴子的新用户和仅浏览1篇贴子的新用户进行分析 来自A渠道的新用户进行(有使用看贴/未使用看贴)行为分组比较 渠道对比 是不是某些渠道的量出现问题 用户行为 功能使用及参与度 页面访问路径 衍生指标 人均浏览页面数和时长、启动次数、收藏、点赞、关注、评论等 最好形成漏斗模型,规划合理访问路径 关键路径上面各个页面的浏览量 页面转化&用户进入后一步步的转化情况 是否可以简化流程,减少用户操作步骤 (最好形成漏斗模型,规划合理访问路径) 用户习惯分析 平均使用时长 单次使用时长、日使用时长、周使用时长 可以进一步做渠道细分 平均启动次数 日、周、月启动次数 启动天数 周、月游戏天数 使用间隔 平均多长时间启动/使用一次app 用户对app的依赖程度 各个时间段启动app人数分布 用户行为 短期点击行为、搜索行为、收藏行为 等级分析 各个等级平均耗时 用户成长速度 需要严格控制高端用户成长速度 各个等级用户流失 各个等级次日、3日、7日、14日、30日未登录用户数分布 到底在哪个等级阶段用户流失严重? 各个等级用户分布数量 各个等级游戏次数 各个等级充值数据 累计充值总金额、充值人数、充值次数 哪个阶段是付费高峰期? 各个等级首次充值 各个等级首次充值人数、充值次数、各个等级首次充值金额选择 哪个等级段容易拉动首次充值行为? [辅助]各个等级消耗游戏币数据 新用户等级分析 首日等级 所选期间的新增玩家,在其新增当日中最终玩到的等级分布情况 首周等级 所选期间的新增玩家,在其新增7日后玩到的等级分布情况 14日等级 所选期间的新增玩家,在其新增14日后玩到的等级分布情况 近7日等级变化 堆叠图显示每日各个等级人数变化情况 分析新用户成长 (首日等级, 首周等级, 14日等级) 关卡/任务系统 新手引导转化率 任务参与人数及完成情况 支付转化率 漏斗模型的合理使用 用户传播 分享、互动、邀请等 付费分析 整体数据 付费总额 时间段内付费用户消费总额 收入下降,原因? 付费率下降? 付费用户流失比活跃用户流失严重 流失的是大R用户还是中小R用户?流失了多少个 付费用户停止付费但未流失 大R还是中小R停止付费? 哪些消费点的消费在下降或停止? arpu下降? 付费人数增加了? 付费人数无变化、付费金额下降了 哪些消费点的消费在下降?付费点已经饱和? 付费用户 时间段内进行过付费行为的用户数 其次还有一个付费次数、不去重 新增付费用户(日、周、月) 活跃付费用户数 定义 统计时间段内,成功付费的用户数,一般以月为单位统计 活跃付费用户数=月活跃用户数*月付费率 解决问题 了解产品的付费用户规模 付费用户整体的稳定性 了解付费用户构成 鲸鱼用户、海豚用户、小鱼用户各自数量和比例 注意事项 数据是去重的 ARPU 名词定义 平均每活跃用户收入 统计时间段内,总收入/活跃用户数,一般情况下以月为单位 衡量每个用户带来的平均收益 解决问题 评估不同渠道用户的质量 游戏收益贡献、人均收入 用于产品初期不同规模下的收入预估 (评估不同渠道用户的质量, 游戏收益贡献、人均收入) 注意事项 arpu值很高 ——大R付费能力很强,需要重点关注大R用户 付费率高,arpu值低 ——小R用户较多,要多关注小R用户 ARPPU 名词定义 平均每付费用户收入 统计时间段内,付费用户平均所创造的收入,一般以月为单位统计,因为月的数据相对比较稳定 解决问题 了解游戏付费用户平均的付费情况 付费用户整体的付费趋势 加强对鲸鱼用户的分析和监控 注意事项 容易受到鲸鱼和小鱼用户的影响 付费率(一般看月付费率) 名词定义 时间段内,付费用户数/活跃用户数 首充大礼包就是为了拉付费率 月付费率 名词定义 统计时间段类,付费用户/活跃用户比例,一般以月为单位计算 解决问题 游戏产品的付费引导是否合理、付费转化是否达到预期 用户付费倾向和意愿 需要结合首次付费功能、道具、等级整体分析 注意事项 付费率的高低并不代表付费用户的增加和减少 游戏类型不同,付费率有较大的差异 生命周期 定义 一个用户从首次进入游戏到最后一次参与游戏之间的时间间隔 一般计算平均值 14日LTV(新用户后续付费能力指标) 名词定义 用户在生命周期内所创造的收入 14日LTV 14日LTV=今日注册新用户在后续14天内付费额/注册的新用户数 这里计算的是一个平均值 解决问题 用户在游戏中会待多久 用户对于游戏的贡献价值是多少 付费用户流失数量 本周付费用户下周未登录人数 付费习惯 付费周期 首次付费周期 用户注册到第一次充值的平均时间间隔 付费周期 上一次付费和下一次付费的时间间隔 付费渠道 采用那种支付方式充值?支付宝、微信、公众号等 付费面额 主要为首次充值面额 首次大额度要纳入高端用户维系中去 用户问题、多少天未登录都要及时监控和跟进维系 不同时间段首次付费 用户数量 付费总金额 充值后首次消费行为分析 充值之后第一件事情是购买什么东西? 研究触发用户充值行为的原因,便于优化首充,提升付费率 需要把各个消费点理解透彻 新增付费用户 首次付费用户等级分布 首次付费时间间隔 首次充值面额 结合首次付费用户的游戏天数、累计游戏时长综合分析 (首次付费用户等级分布, 首次付费时间间隔, 首次充值面额) 不同性别/年龄阶段付费分析 首次付费分析 首次付费等级 首次付费周期 首次付费消费结构 首次付费选择订单面额分布 首次付费各个时间节点用户数量及付费总金额 看首次付费正在哪个时间段分布比较多 一周为单位,哪些时间点是付费高峰期? 首次付费用户及后续付费行为 首次付费行为产生原因 充值之后第一件事情是购买什么东西? 发现其中的规律,运营中可以更好利用首次付费 首次付费地域分布 首次付费渠道分布 付费场景 一定程度上可以理解为付费点,在哪些地方会产生付费 消费场景 消费人数和消费次数 鲸鱼用户 每日top100付费用户及累计付费金额数据 账号、id、电话、充值总额、消耗总额、最后登录时间、当前等级 加强对金字塔用户的运营管理 营销效果 新增用户 每小时新增用户 衡量推广效果的最基础指标 新增用户/活跃用户的比例也是衡量产品健康度的标准之一 比例过高,需要关注留存 新增用户渠道分布 活跃用户 渠道分布 启动次数 单次平均使用时长 留存率 检验产品用户吸引力的重要指标 若版本稳定的情况下,留存出现明显波动,很可能是渠道的问题 渠道充值数据 其他 用户行为是否正常、机型、设备分布 其他分析 货币产出和消耗数据 各等级货币消耗 消耗总量 消耗人数 消耗次数 不同道具消耗数据 用户调研 用户来源 用户来自哪里 用户属性 用户是谁 用户在做什么 用户行为 流失原因 用户建议 数据分析模型/方法论 [思维模型]AARRR分析模型 获取(Acquisition) 用户如何发现(并来到)你的产品? 激活(Activation) 用户的第一次使用体验如何? 留存(Retention) 用户是否还会回到产品(重复使用)? 收入(Retention) 产品怎样(通过用户)赚钱? 传播(Retention) 用户是否愿意告诉其他用户? 依据该模型,分出更细分的维度,罗列出影响每一个维度的变量 理解到这里即可,该模型更多的是一个思维模型,也可以叫方法论 (获取(Acquisition), 激活(Activation), 留存(Retention), 收入(Retention), 传播(Retention), 依据该模型,分出更细分的维度,罗列出影响每一个维度的变量) [思维模型]5W2H 何因(Why)、何事(What)、何人(Who)、何时(When)、何地(Where)、如何就(How)、何价(How much) 提供一种问题/业务分析思路 活动运营常用方法论,尤其是编写活动执行案的时候 如何更加全面的思考问题 [思维模型]PEST分析法 用于对宏观环境的分析,包括政治(political)、经济(economic)、社会(social)和技术(technological)四方面 适合做大环境、行业分析,一般情况下用途较少 [思维模型]4P营销理论 分析公司的整体营运情况,包括产品(product)、价格(price)、渠道(place)、促销(promotion)四大要素 以用于公司整体运营情况分析 [思维模型]用户行为理论 主要用于用户行为研究 用户行为理论步骤 认知 网站访问 主要指标有:PV、UV、人均访问页面量、访问来源 熟悉 网站浏览 主要指标有:页面停留时长、跳出率、页面偏好 网站搜索 主要指标有:搜索访问次数等 试用 用户注册 用户注册量、注册转化率 使用 用户登录 登录用户数、DAU等 用户订购 订单量、订购频数、内容、转化率 忠诚 用户粘性 回访者比例、访问深度 用户流失 流失数和流失率 [思维模型]鱼骨图 发现问题“根本原因”的分析方法 多维度分析 细分问题 趋势分析/折线图 数据监控 [思维模型]极简数据分析方法论 3个步骤 确定目标、列出公式、确认元素/字段 3个模型 [提升元素量级]漏斗模型 适用范围:需要多个步骤达成的元素 通过提升转化率,提升单个元素量级 [精细化]多维坐标 精细化运营 通过多维坐标将用户分组,对不同组用户采取对应的运营措施 用户运营也有个经典坐标,叫RFM坐标 [监测数据]分组表格 适用范围:随时间变化的用户属性元素 留存率分组表格 用户行为分析模型 行为事件分析 用户留存分析 魔法数字法 留存与关键用户行为关系组合图 GrowingIO留存曲线 漏斗模型 AIDMA理论是漏斗模型的理论基础 漏斗模型用途 漏斗模型适用于应用中某些关键路径的转化率的分析 以确定整个流程的设计是否合理,各步骤的优劣,是否存在优化的空间等 了解用户使用你应用的真正目的,为他们提供合理的访问路径或操作流程 解决方案思想 扩大漏斗口径 提升转化率 反向漏斗模型 倒推用法——根据目标倒推所需资源配置 趋势、对比、分组 趋势 从时间轴的维度,看某个流程或某个步骤前后优化效果及监控 比较 比较类似产品或服务使用流程转化,发现应用中存在的问题 细分 细分来源或不同的客户类型在转化率上的表现 发现一些高质量的来源或客户,通常用于分析网站的广告或推广的效果及ROI 用户行为路径分析 用户路径的分析结果通常以桑基图形式展现 见友盟——功能使用——页面访问路径 主要用途 分析关键路径上的页面跳转以及转化率,找到流失用户的页面 分析到达关键页面的页面来源,分析关键路径到达的页面 RFM模型/分析法(客户关系管理模型-用户分类方法) R:表示客户最近一次购买的时间 时间差 用户类型(活跃用户、休眠用户、流失用户) 理论上,最近一次消费时间越近的用户应该是比较好的用户 刻画用户的关注程度 F:表示客户在最近一段时间内购买的次数/频数 购买次数count 用户忠诚度 M:表示客户在最近一段时间内购买的平均金额 请注意是平均值 刻画用户的购买力 用户精细化运营常用模型 (R:表示客户最近一次购买的时间, F:表示客户在最近一段时间内购买的次数/频数, M:表示客户在最近一段时间内购买的平均金额) 用户细查 单个用户某行为或过程分析——进而上升到用户群体 如有没有多次获取验证码的情况 热力图 A/B测试(对比测试) 定义 通过对app的两个不同版本进行比较,来确定一个性能更好的方案 核心思想 提供多种方案,最终根据数据效果选择最优方案 注意事项 目标用户群一定是随机分配的 运用 不同创意/不同类型banner数据效果测试 在了解和分析各个渠道质量的时候,也可以运用A/B测试方法论 流失预警模型 分类模型 逻辑树分析法 把问题的所有子问题分层罗列 可用于业务问题专题分析 预测模型、分类模型 神经网络 朴素贝叶斯 支持向量机 K-临近邻算法 随机森林 预测模型 逻辑回归 聚合算法 K-Means 关联算法 Apriori算法 可用于游戏道具组合销售策略 异常检测 辅助算法等 主成分分析 特征选择法 降纬算法 数据分析报告 http://www.woshipm.com/operate/588326.html 运营日报 Excel 运营周报 一页简报——对关键指标汇总+总结,往往是领导要看的数据 多页子页——对关键指标的详细解读和说明、可视化 Excel 运营月报 PPT 数据分析报告 http://www.woshipm.com/data-analysis/677567.html 市场分析 市场需求 市场现状 找到突破口、找到目标用户在哪里 明确目标用户群体 年龄 收入 性别 爱好 目标用户体量 期待抢占多少用户比例 产品定位 基于目标用户需求制定计划 市场分析报告 竞品分析 了解 竞品的目标群体和推广策略 了解竞品运营需求,需要进行整理 了解竞品周边项目和战略布局 5w2h、swot分析 产品分析 产品市场定位 产品体验报告 左右资源 运营资源、技术资源、渠道资源 swot分析 数据运营精髓 通过数据指导运营决策 利用数据驱动业务增长 进一步深入 新增用户 新增设备、新增用户 活跃用户 新用户、老用户;各自数量及占比变化 付费用户 新付费用户、老付费用户;增长衰减变化 收入折线图

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

__泡泡茶壶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值