软件测试实验室在申请CMA或CNAS测试认证时,需要经历严格的评审流程,在这个过程中,如果有哪些方面准备地不够充分,便很容易出现不符合项。
在CMA或CNAS测试认证过程中,不符合项分为严重不符合项和一般不符合项。严重不符合项往往与实验室的诚信和技术能力有关。如:
1、实验室提交的申请资料不真实,如未如实申报工作人员、检测或校准经历、设施或设备情况等;
2、评审中发现实验室提供的记录不真实或不能提供原始记录;
3、实验室原始记录与报告不符,有篡改数据嫌疑;
4、实验室不做试验直接出报告;
5、实验室在能力验证活动中串通结果,提交的结果与原始记录不符,或不能提供结果的原始记录;
6、人员能力不足以承担申请认可的检测或校准活动;
7、实验室没有相应的关键设备或设施;
8、实验室对检测或校准活动未实施有效的质量控制;
9、实验室管理体系某些环节失效;
10、实验室故意违反 CNAS 认可要求,如超范围使用认可标识,涉及的报告数量较大;
11、实验室在申请和接受评审活动中存在不诚信行为;
12、实验室发生重大变化不及时通知 CNAS,如法人、组织机构、地址、关键技术人员等变动。
如果评审组判定不符合项构成严重不符合项时,有可能会导致暂停或撤销相关检测或校准项目以及暂停或撤销认可资格。或者限期实验室在1个月内完成纠正和纠正措施,并进行现场跟踪验证。
一般不符合方面的高频问题点
1、管理评审方面的高频问题
管理评审全套输入输出记录是必查项目,在CMA或CNAS评审过程中,评审专家会对最近一次的管评全套材料进行全面审查,机构在管评方面最容易犯的5个高频问题,这些问题只要审到100%会开具不符合,机构应提前进行管评材料的全面审查及完善。
1)未制定年度管理评审计划。
2)在开展评审时,对管评的输入项覆盖不全面。经常容易疏漏的是:未进行公正性风险识别、未对人员能力进行年度评审、未对检验检测工作量进行评估、未对各类变更情况进行评审、未对质量目标和方针进行评审。
3)管理评审输出方面的不符合。常见的有:评审报告中总结的输出项和实际开具的不符合项或改进项不一致、针对输出项未按PDCA流程进行改进及效果验证,无法提供改进的证据或者未及时关闭问题。
4)管理评审未覆盖所有认可的检验检测领域。
5)新准则、标准规范发生重大变化,人员、组织架构、业务等发生重大变更,发生重大安全事故或客户投诉时,未进行附加评审。
2、内审方面的高频问题
年度内部审核全套记录是CMA或CNAS评审中的必查项目(包括年度内审计划、内审检查表、内审实施计划表、内审报告、内审不符合项)。在CMA或CNAS评审过程中,评审专家会对最近一次的管评全套材料进行全面审查,内审4个高频问题:
1)内审检查表无法追溯到每个条款的审核员及被审核部门。如完成内审所有条款审查后,内审小组集体在表最后面一栏签字,无法确认每个审核员到底审核了哪些条款,所以应修改检查表模板增加每个条款的签字栏或者将检查总表按每个内审员进行拆分,确保各审核员对每项审核记录应有签字确认。
2)内审覆盖不全面。比如未覆盖所有认可领域、认可场所或全年未覆盖管理体系全部要素。实验室在进行内审策划时应考虑充分全面,抽查方案应覆盖到所有认可领域和场所,不要遗漏。
3)内审只制定了年度计划,缺少内审策划的环节,无内审方案。实验室可以在年度计划的基础上增加内审策划的内容。
4)不符合项整改不规范。比如不符合项描述不清晰(未写清楚时间,地点,人物、不符合的事件描述,涉及的文件或设备、标准、样品等标号等信息),无法确认问题;不符合开具未对应到正确的条款;原因分析停留在表面,多停留在人员培训宣贯或检查检查等方面,无深层次的分析和改进措施(未从人、机、料、法、环、测等维度进行根本原因分析);制定的改善对策只有纠正无纠正措施,或者制定的改善措施未落实到位或未开展措施有效性验证等。
3、检测设备和工具方面的高频问题
1)新测试工具或设备投入使用未进行验证;或者开展了验证但没有验证过程支撑材料。
2)关键测量设备未校准或溯源,或者校准后未开展结果确认。无法提供相关的证据。
3)关键测试设备未纳入实验室管理或设备档案不全。
4)操作关键设备的人员未进行培训授权就上岗,设备操作员更换未重新开展培训授权。
5)仪器设备使用记录缺失。开展检验检测过程中未记录设备使用情况或者未覆盖所有关键设备。
设备是影响检验检测结果的核心要素,实验室应建立设备“采购-适用性验证-验收-建档-使用-维护保养-维修-停用/报废”全周期的设备管理机制,确保设备的稳定性和有效性。
4、人员方面的高频问题
1)新员工方面的问题。未进行能力确认及上岗考核授权就开展检测;能力确认流程不完整;查不到新员工相关的培训记录或者培训内容不全;未开展新员工检测工作监督;新员工未签订保密协议;新员工未及时建立人员档案。
2)关键岗位管理问题。未明确岗位职责、查无法提供岗位说明书;未进行考核授权,岗位能力确认项不完整(只包含了技术能力确认,未对培训经历、工作年限、专业要求、岗位资质要求等内容进行确认);未对人员能力开展年度评估,无法判断能力是否持续满足;人员档案管理混乱。
3)人员培训方面的问题。培训未全面覆盖各层级人员、关键岗位;培训计划未覆盖各阶段培训(应包含上岗、见习及持续能力提升三个阶段);培训内容不全,只有技术类培训,缺少保密和公正性、体系、安全等方面的培训;培训后无评价或评价流于形式。
人员是实验室最核心的管理要素,实验室应加强对各级关键员工的管理,做好人员能力的培养、授权、管理和评价工作。
5、记录方面的高频问题
1)原始记录表格设计缺失。未按检测记录的要素设计表单,比如测试过程记录无检测人员签名和测试时间;无校核人员签名和时间;无测试工具设备信息;无样品信息;无环境信息等。无法进行追溯。
2)原始记录填写不完整、不规范。比如漏填信息;描述不清晰;字迹模糊潦草或者用圆珠笔记录;记录随意涂改或者涂改不规范;记录表中有些栏目不填写,也无不适用说明;电脑过程关键记录未截图保存等。
3)只规定了纸质记录的方式,未明确电子版记录的相关管理方式及保密要求。
4)记录未遵循原始性原则。明显存在时候事后补记的情况。
记录是实验室各项工作合规开展的证明,也是CMA或CNAS资质评审的重要依据材料,在记录管理方面,应从制度的建立到记录模板的设计到记录的填写归档进行全面管理,针对不合规的记录应时时开展培训宣贯。
6、合同评审方面的高频问题
1)未进行合同评审工作。有些实验室针对一些项目未开展合同评审,只是采用口头沟通的方式进行确认,无法提供相关的评审记录。合同评审应覆盖所有签订合同的项目,评审方式可以有所不同,例行评审可以简化。
2)针对首次或关键性项目有输出合同评审记录表,但无法提供评审过程记录材料。实验室对项目应进行分级管理,首次或重要项目应进行细则全面的评审,并有详细的评审过程材料。
3)只针对首次开展的项目或关键项目开展了合同评审,而常规例行项目未开展合同评审。常规项目也应开展合同评审,可以采用简易方式进行,比如相关部门走签批流程。
4)合同评审要素不全面,无法覆盖关键要求。比如只开展了技术要素评审,未对商务要素、财务资源、报告交付、保密要求等进行评估,导致无法履行合同要求。
CNAS/CMA软件测试实验室应建立完善的合同评审程序,明确合同评审的流程和过程交付材料要求。
7、人员监督和监控方面的高频问题
1)只做了人员监督未开展人员监控,未对检验检测人员持续胜任能力进行监控和评估;导致评审时无法提供证据。
2)未覆盖所有人员和检验检测领域,导致缺失。比如未覆盖所有新员工监督、重大变更时未监督、关键岗位人员调岗未监督等,导致遗漏关键情况的监督出现质量风险;如存在明显的覆盖缺少。
3)监督员能力未进行考核授权就开展监督。实验室应设计质量监督员的培训内容及考核表,开展能力培养工作。
4)监督表缺乏针对性。所有的检验检测领域共同一个监督表,监督覆盖不了相关领域要求,监督效果不佳。
CNAS/CMA软件测试实验室应建立完善的监督监控程序,加强质量监督员的能力培养,提升监督的质量。
8、质量控制方面的高频问题
1)能力验证频次不满足认可最低要求。如果是首次申请认可,申报项目必须要有能力验证并输出满意结果;维持资质期间,能力验证应满足最低要求,实验室应将相关要求写入内部质控程序中,在制定年度质控计划时应进行评估和能力验证规划。
2)现有的能力验证记录已经过期,导致无法最低要求。在日常管理中加强对能力验证记录有效期的管理,及早进行规划。
3)针对能力验证和实验室间比对未开展结果分析,也未制定改进计划。结果不满意一定要进行分析,并制定改进措施进行改善及效果验证。针对结果满意但得分偏低的项目,软件测试实验室也应进行分析制定改进对策。
4)缺少年度质控计划或者制定的质控计划不全面、不充分(比如只有外部质控无内部质控,或者只针对某个领域制定了质控计划,遗漏其他认可领域)。
质量控制措施是质量保证的重要举措,实验室应建立完善的质量控制程序,加强质控的规划、执行、改进和日常的监督管理。
9、检测报告方面的高频问题
1)报告包含信息要素完整性有问题。比如报告内容缺失唯一性标识、缺失设备配置信息、缺失测试工具型号;缺失检验检测专用章;无报告唯一性标识和报告结束标志等。软件测试报告需要包含的内容,可参考我们之前整理的软件测试报告的编写相关内容。
2)未授权人员签发报告。比如未上岗授权的测试人员开展测试并在报告中签字;授权签字人超范围签发报告或者未经授权签发报告。
3)报告内容错误。比如标准描述或标准版本和受控标准不一致;报告内容和过程记录或者合同内容不一致;使用的设备不是受控设备;测试时间、人员和过程记录冲突;超范围使用认可标识等。
4)报告结论方面的问题。比如数据计算错误,小数位数不符合要求,数据修约问题;结论和过程记录冲突,对过程记录中的异常未开展分析;对于临界值的情况未进行不确定分析;结论描述不规范。
CNAS/CMA软件测试实验室应严格落实检验检测报告三级审批流程,各级审核人员应强化责任意识,细化审核要求,标准化检测报告编制过程,确保交付质量。
10、样品方面高频不符合
1)无样品状态标识或者未按状态标识存放样品。实验室应规范定义样品的状态,并贴上样品状态流转卡,检测中严格按各状态存放样品,并更新状态标识。
2)样品存放不满足要求。比如环境不满足要求或者无监控、保密不符合要求等。实验室应在样品管理程序中细化各类样品的环境要求、保密要求,并建立环境监控机制,定期输出监控记录。
3)样品接收记录信息不完整。比如软件测试缺失被测软件的程序、软件工程文档、数据及版本号信息等。样品接受信息的完整性,关系到检验检测结果的有效性,实验室应重视样品的接受信息确认和填写,对样品接受确认表进行科学规划和设计,覆盖所有关键信息。
11、文件方面的问题
1)外来法律法规认可规范、测试标准未及时开展查新和受控。实验室应指定专人负责外来文件的管理,建立外来文件清单,定期开展查新工作,对新外来文件进行内部体系转化及受控管理;对外来文件的升级应组织相关人员进行评估,并采取相应的应对措施。
2)文件内容方面的问题。比如作业指导书未覆盖所有检测项目或者缺乏发指导性;缺少关键的程序文件,或将程序文件列为了三级作业指导书;文件内容和实际操作相冲突等。实验室应建立文件定期审查机制。
3)文件年度审查记录中只对一到三级文件进行了审查,未包含四级记录的审查。
4)新文件或新标准未开展内部培训宣贯,无法提供培训记录。
12、其他方面高频问题
1)机构法人变更、高级管理人员、机构场所变更未提前向CNAS或CMA管理机构报备。机构资质管理部门应加强对内部变更的识别,变更发生时及时提交变更申请。
2)供应商管理方面的问题。比如合格供应商名录未及时更新、未开展供应商评价,未开展供应商年度评价。实验室应加强供应商管理,建立从供应商的选择、入库、选择到评价的全流程管理机制。
以上就是我们与您分享的CNAS/CMA测试认证过程中,评审高频不符合项及如何规避的全部内容,软件测试实验室在迎审前,可对照自查,避免在评审的过程中出现相关不符合项。
(谢绝转载,更多内容可查看我的专栏)