大数据平台测试
文章平均质量分 57
大数据平台测试,分享实战测试经验。注意,大数据平台测试和大数据测试是不一样的哦,要求的技能和经验天差地别
软件测试李同学
物联网工程专业毕业,大数据平台高级测试工程师。曾负责智能相机软件系统、工业智能相机、银行基金系统、物联网终端、大数据统一开发平台等产品的测试。熟悉黑盒测试、白盒测试、接口测试、自动化测试、性能测试、测试平台开发。精通测试理论知识,熟练使用的测试工具,可满足多变的测试任务,提倡全栈测试保证质量。目前负责大数据实时计算、数据服务等平台测试,在测试工作中表现优异,荣获2020年年度优秀员工、2021年3月优秀员工、2021年6月优秀项目、2021年11月优秀导师、2022年3、6月入围奖、2022年10月优秀员工、2023年3月进步奖、2023年6月进步奖
展开
-
spring boot 白盒测试实战
代码解析ReUtilgetGroup0waybill。原创 2024-05-31 12:33:34 · 287 阅读 · 0 评论 -
大数据平台测试-我是怎么面试高级测试的
下面是我面试时会问的一些问题整体提问思路:接口自动化框架->UI 自动化框架->测试用例设计思维->Linux->SQL->Python->常用算法和数据结构->Shell 脚本->jmeter->Docker->Jenkins重点还是 UI、接口自动化等方面的技能,最好是有过落地实践的项目或者自己写的 demo,这样才能在面试的时候有干货可以说。原创 2024-03-17 08:50:31 · 1083 阅读 · 0 评论 -
大数据平台测试-一次生产P2故障记录
项目介绍:某鉴权项目。公司为了数据安全,去年评审通过了一个基于中间件kafka的鉴权项目,大概的意思,消费topic的应用需要对接鉴权项目,订阅应用,启动端口9093消费(默认是9092端口),当时大家(开发)都觉得风险太大了,不适合接入公司核心kafka集群。分析:1、 开发时,开发不熟悉Zookeeper机制,process方法中已创建了连接,自己重新new 相当于不断地创建连接。2、代码逻辑属于异常分支,开发和测试时都未测试,因为大家都觉得这一段代码都走不到,刚好运维把机器重启了,就走到这段逻辑了。原创 2023-11-25 21:16:50 · 665 阅读 · 0 评论 -
大数据平台测试-优秀员工申请模板
4、个人优秀奖-进步奖申请理由模板。3、晋升材料,概述+文档佐证材料。1、申请个人优秀奖-测试质量奖。自动化+覆盖率价值体现。原创 2023-09-02 22:12:41 · 511 阅读 · 0 评论 -
大数据平台测试-白盒测试静态方法解析(我奶奶都能看懂)
通过仔细检查代码,可以发现一些常见的错误和问题,如语法错误、命名规范违规、逻辑错误、死代码(无法执行的代码)等。通过仔细检查代码,可以发现潜在的问题,并提供建议和改进意见,以确保代码的正确性和质量。它是一种非正式的检查方法,通过直接阅读代码或文档来发现潜在的错误、逻辑问题、一致性问题和其他缺陷。需要注意的是,桌面检查虽然有助于发现一些问题,但它并不能完全替代其他形式的测试,如单元测试、集成测试和系统测试。桌面检查是一种低成本、高效的方法,它可以帮助发现和纠正早期的问题,减少后续阶段的调试和修复工作量。原创 2023-07-17 18:18:11 · 598 阅读 · 0 评论 -
大数据平台测试-git常用操作(白盒测试基础)
Git是一个分布式版本控制系统,最初由Linus Torvalds于2005年创建,用于管理和跟踪源代码的版本。它广泛用于软件开发中,可帮助开发人员在团队协作环境中管理代码,并跟踪和记录代码的变更历史。分布式版本控制:与传统的集中式版本控制系统不同,Git是一种分布式版本控制系统。每个开发者都可以拥有完整的代码仓库副本,这使得开发者可以在没有网络连接的情况下进行工作,并且即使中央服务器出现故障,代码仍然可用。提交(Commit):Git中的提交是指对代码进行的一次更改。原创 2023-07-17 17:12:44 · 414 阅读 · 0 评论 -
大数据平台测试-某 SDK 缓存存储支持COS
遇到过这个测试需求没,一起了解下吧。原创 2023-06-28 15:29:05 · 654 阅读 · 0 评论 -
大数据平台测试-后端代码扫描工具
后端代码扫描工具是用于静态代码分析和检测代码质量问题的工具。它可以帮助开发人员和团队发现潜在的编码错误、安全漏洞和性能问题等,并提供修复建议和最佳实践。以下是一些常用的后端代码扫描工具:SonarQube:SonarQube 是一个开源的代码质量管理平台,提供了广泛的代码检查规则和指标,可以检测代码质量、安全漏洞、重复代码等问题,并生成详细的代码质量报告。Checkstyle:Checkstyle 是一个静态代码分析工具,主要用于检查代码风格和编码规范是否符合预定义的标准。原创 2023-06-20 10:21:13 · 912 阅读 · 0 评论 -
大数据平台测试-后端代码覆盖率工具
在后端开发中,常用的覆盖率工具包括:JaCoCo(Java Code Coverage):JaCoCo 是一个流行的 Java 代码覆盖率工具。它可以在编译期间插入字节码,收集覆盖率信息,并生成报告。JaCoCo 支持行覆盖率、分支覆盖率、方法覆盖率和类覆盖率等多种指标,并且可以与各种构建工具和测试框架集成。Cobertura:Cobertura 是另一个广泛使用的 Java 代码覆盖率工具。它通过在编译期间插入字节码,收集覆盖率数据,并生成报告。原创 2023-06-19 22:48:46 · 1317 阅读 · 0 评论 -
大数据平台测试-前端代码覆盖率工具
它可以集成到构建工具(如Webpack、Babel)中,生成代码覆盖率报告并显示详细的覆盖率数据,包括行覆盖率、函数覆盖率和分支覆盖率等。生成详细的报告:Istanbul 生成详细的覆盖率报告,以帮助你了解哪些代码被测试覆盖,哪些代码被遗漏,以及具体的覆盖率百分比。支持多种覆盖率指标:Istanbul 提供了行覆盖率、函数覆盖率、分支覆盖率和语句覆盖率等多种覆盖率指标,可以帮助你全面评估你的测试情况。在前端开发中,有一些工具可以用于测量和分析代码的覆盖率,以评估测试的质量和代码的可靠性。原创 2023-06-19 22:50:40 · 1527 阅读 · 0 评论 -
大数据平台测试-软件测试教产品验收
大数据平台,大数据产品验收,产品验收步骤原创 2023-04-28 21:19:03 · 367 阅读 · 0 评论 -
大数据平台测试-软件测试常见面试回答(持续更新)
答:主要有2方面,一、现在的系统很多都是前端后端分离,前端和后端工作进度不一样,咱为了尽早测试,尽早发现问题,所以可以在前端界面没有开发完成的情况下,后端接口只要开发完了,就可以介入测试了,这也叫测试左移。答:因为我面试的自动化的岗位,所以,我短期希望尽快熟悉我的工作内容,适应公司节奏,根据公司长期发展提升自己的专业技能,同时,过2-3年,能够成为独当一面的高级测试开发工程师,我已经有了N年的功能测试积累了,并且也参与过自动化的实施,通过我的努力,我相信一定可以达成目标。面试,讲点面试官想听的。原创 2023-02-18 15:24:28 · 2241 阅读 · 0 评论 -
大数据平台测试-高级Java架构师语录(偷笑)
7、分支版本管理是开发的基础技能,不会这都有问题吧?8、开会的时候过迭代进度,开发说给这点时间去实现有点困难。于是,“上线时间已经定了,再怎么说也要上的!9、(系统关联方改了功能,直接过来说这周配合改动上线)你们那边没有做兼容吗?5、这个需求需要做成的效果我已经告诉你了,发完版还是没达到我的期望?1、核心流程, 除非必要, 改动越小出问题几率越少!2、同样的功能, 1行代码实现比100行 牛逼!11、任务拆的不够细,任务分工和时间排一下。1、历史数据怎么处理?3、迭代需要做到向前兼容!3、容错怎么处理的?原创 2022-11-23 18:30:00 · 1062 阅读 · 0 评论 -
大数据平台测试-python往kafka发送数据(脚本开发实战)
最近参与新项目,kafka鉴权相关的。需要做性能测试,在这里需要大量的数据,因此需要写个脚本。连接kafka tools,非常简单,填写下面的地址和改一下名称就可以连接了。分区数和副本数填一下,这里我创建的topic为 :test_lqj。这里我们先用kafka tools工具创建一个topic。用kafka tools工具看下。发送10个数据测试下。...原创 2022-08-16 20:49:55 · 1837 阅读 · 0 评论 -
大数据平台测试-hive、hbase、elasticsearch、kudu、clickhouse、mysql、Tidb、postgresql、sqlserver starrocks CRUD操作
进入hive shell命令查看建表语句:其他操作和SQL测操作类似更多DDL操作:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDLHBase Shell命令简介,参考华为文档:HBase Shell命令简介_表格存储服务 CloudTable_用户指南_集群模式_使用HBase_华为云更多:https://learnhbase.wordpress.com/2013/03/02/hbase-shell-comm原创 2022-07-12 23:00:00 · 1128 阅读 · 0 评论 -
大数据平台测试-elasticsearch、mysql、kudu、starrocks、print、hive、Datagen、hbase、tidb、hudi
最近在测试flink实时计算平台最近迭代增加了 elasticsearch 7的 Connector ,所以要把平台内所有的数据源实例类型测试一遍。flink中的数据源实例类型有elasticsearch、mysql、kudu、starrocks、print、hive、Datagen、hbase、tidb。。。证明新增的Connector对其他的Flink SQL 写入其他数据库无影响。或者说其他数据源的写入正常。这里写下job写入对应的表后该怎么查询1、elasticsearch 6 与 elastics原创 2022-06-10 23:47:30 · 1514 阅读 · 0 评论 -
大数据测试-hive、doris、clickhouse、mysql、elasticsearch、kudu、postgresql、sqlserver
大数据工作要接触很多的数据库和查询引擎数据库:1、hive:用于跑批,大批量,稳定,缺点:无update。用于数仓2、doris:已更名starrocks。即时查询 可达千亿级别3、clickhouse:亿级别 局限性:主表,单表支持能力强,join能力弱4、mysql:开源免费,十万级别查询5、elasticsearch:不支持join,有些函数不支持 优点是检索快6、kudu:能支持update、千万级别。数据量大(百亿级别)性能问题明显7、postgresql:关系型数据库,支持很多原创 2022-02-16 11:35:55 · 7607 阅读 · 1 评论 -
一个典型的impala查询实际应用例子
使用的三个表如下:items:商品详细信息表,即商品维度表,记录数100W左右。item_orders:每日增加的订单记录,事实表,每日新增记录大约为100W。orders:订单维度表,包含每一个订单实时的信息,记录数为1亿。该查询实现这样的需求:查询2021年五一三天假期中满足一定条件购买次数TOP 100的商品,条件为:商品的类目属于指定四类,商品的订单状态是1、2两种并且这三天购买的人数大于1000。SQL:select * from bigdata_report_dev.bigda原创 2022-02-10 11:21:35 · 1511 阅读 · 0 评论 -
This version of the JDBC driver is only compatible with Elasticsearch version 7.9 or newer; attempti
DBeaver 21.0.0连接这个ES报错,原因是驱动的原因,在编辑连接->常规->编辑驱动设置->库,添加驱动即可x-pack-sql-jdbc-6.8.0.jar包即可原创 2021-11-05 15:58:34 · 3301 阅读 · 0 评论 -
大数据测试-SQL语句执行顺序
SQL语句伪代码:SELECT DISTINCT <select_list>FROM <left_table><join_type> JOIN <right_table>ON <join_condition>WHERE <where_condition>GROUP BY <group_by_list>HAVING <having_condition>ORDER BY <order_by_原创 2021-10-07 11:41:38 · 221 阅读 · 0 评论 -
大数据测试-MySQL binlog
在认识binlog日志三种模式前,先了解一下解析binlog日志的命令工mysqlbinlog。mysqlbinlog工具的作用是解析mysql的二进制binlog日志内容,把二进制日志解析成可以在MySQL数据库里执行的SQL语句。binlog日志原始数据是以二进制形式存在的,需要使用mysqlbinlog工具转换成SQL语句形式。mysql的binlog日志作用是用来记录mysql内部增删改等对mysql数据库有更新内容的记录(对数据库进行改动的操作),对数据库查询的语句如show,select开头原创 2021-09-11 15:23:33 · 279 阅读 · 0 评论 -
大数据测试-SQL函数与关键字
---------------------SQL函数----------------------------------1、AVG() - 返回平均值2、COUNT() - 返回行数3、FIRST() - 返回第一个记录的值4、LAST() - 返回最后一个记录的值5、MAX() - 返回最大值6、MIN() - 返回最小值7、SUM() - 返回总和8、UCASE() - 将某个字段转换为大写9、LCASE() - 将某个字段转换为小写10、MID() - 从某个文本字段提取字符,MySql 中使原创 2021-08-31 22:06:35 · 461 阅读 · 0 评论 -
大数据测试-学习Doris db、spark SQL、ES、hive、kudu、hudi官方学习地址
记录一些数据库学习地址:Doris:http://doc.dorisdb.com/2140965spark SQL:http://spark.apache.org/docs/latest/sql-data-sources.htmlES:https://www.elastic.co/guide/en/elasticsearch/reference/6.0/getting-started.htmlhive:http://hive.apache.org/kudu:https://kudu.ap原创 2021-06-10 14:33:02 · 1211 阅读 · 2 评论 -
大数据平台测试-了解框架和技术CDH、Hadoop、Hive、Spark、Flink、HBase、Kafka
以下内容来自互联网,仅供学习CHD:大数据平台CDH,Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度Hadoop:Hadoop被称为一个“生态”,比如:大数据相关岗位招聘要求上一般都有写熟悉Hadoop生态。相关的软件项目繁多,通原创 2021-08-26 15:27:08 · 3188 阅读 · 4 评论 -
大数据测试-大数据技术学习资料篇(大数据开发、测试)
尚硅谷大数据全套视频教程下载链接:https://pan.baidu.com/s/18Feqa_63640xPB0fYJ8Ttg提取码:9bnr大数据学习路线图:http://www.atguigu.com/bigdata_video.shtml#bigdata更多尚硅谷视频教程请访问:http://www.atguigu.com/download.shtml...原创 2021-07-28 17:12:37 · 754 阅读 · 0 评论