对于数据的测试2-CSDN博客

对于数据的测试

先看一个职位描述，

资深测试工程师

职位描述
1. 了解互联网金融、电商、运营商等行业数据，通过大数据挖掘技术研发高质量的用户或者商户相关的数据产品，能够保证数据的质量和时效性；
2. 对数据采集、数据融合、数据质量、数据应用的整条链路有深入了解，能利用创新方法解决链路中的实际问题；
3. 熟悉数据资产的管理和应用，整合业务、产品等各渠道的数据，并能够协同技术和数据仓库团队，完善和管理口碑数据资产；
4. 对数据资产管理、数据质量管理流程与环节进行分析与监控，及时找出其中潜在的漏洞与问题，并迅速解决。
5. 能够保障数据应用的健壮可靠运行

职位要求
1. 本科及以上学历，统计，数学，计算机，经济等相关专业；
2. 三年及以上数据分析或数据质量保障经验，具有较强的数据规范化与敏感性，有模型开发经验者优先考虑；
3. 有应用测试和保障经验，会自动化编程语言者优先考虑。
4. 良好的沟通协调能力和大局意识，能够快速推动工作执行落地；
5. 有实时数据处理经验者或风控平台测试经验者优先考虑。

高级资深测试工程师大数据

岗位职责：
1. 负责大数据部门相关数据的加工处理测试，负责加工逻辑的功能测试，白盒测试、自动化测试等
2、独立设计和执行设计用例，进行缺陷跟踪，制定测试计划，与开发协作实现各阶段的测试活动；
3. 开发测试工具或自动化解决方案，提高测试效率；
4. 对项目的测试进度进行把控、识别并预防测试风险、进行测试过程改进；
5 . 对测试中发现的问题能够进行分析和定位，与开发人员、需求人员积极有效沟通，推动问题解决。

岗位要求：
1. 本科以上学历，3年以上软件开发或自动化测试框架开发经验；
2. 熟悉hadoop、hive等大数据生态系统相关产品知识者优先；
3. 具有良好的抗压能力，独立解决问题能力，有数据仓库，BI，大数据解决方案相关测试经验者优先；
4. 具备良好的语言表达能力，良好的组织和协同能力；
5. 熟练操作Linux，至少熟悉Shell，Python，Java中一门语言，熟悉Selenium等测试框架者优先；
6. 熟悉Jenkins，Maven等持续构建工具者优先；
7. 熟悉数据库理论，SQL熟练。

再看下没有测试，只是数据工程师
数据工程师
要求精通：hive，ETL
工作经验 :3年以上（包含3年）
熟练使用： MapReduce、Spark提供的API编程，具备海量数据加工处理（ETL）相关经验；
要求熟悉：Hadoop生态环境，对Hadoop、Spark、Storm、HBase、等至少一个项目有着深入了解
熟悉Shell命令，进行简单的Shell编程；熟悉Linux文本处理命令，VI、AWK、Sed等命令
熟练使用Hadoop或其他分布式平台的一种，能使用java，Python或其他语言编写MapReduce进行大数据处理优先；

我们公司，有专门的数据团队，负责tableau报表生成，做得很炫；
会员积分计算，等级计算，因为这些涉及到业务逻辑，等等都是有开发和测试进行，然后上线；
部分客户涉及多方则通过ETL，CLOVERETL在指定sftp上进行交互；

开发和测试，一般在dev和QA数据库上进行
遇到生产上要跑出，比如下个月过生日的会员，逻辑年内有交易，则赠送一个蛋糕券的业务，又是由BI人员进行取数和新增到生产DB的业务表中
BI是没有测试人员的，
然后经常出错。。。。
然后叫测试辅助BI测试，测试于是什么都做了，review代码，写自动化测试脚本，测试数据。。。并且一个项目只有一个测试，一个测试同时负责多个项目。

然后看看数据存储过程，

需求就一句：Please remove 先生/小姐/女士/顾客/COACH/客人 in customer’s name in trigger. And these customers won’t receive our DM pack