- 博客(95)
- 收藏
- 关注
RSS订阅原创 工作注意事项
技术选型 系统数据流程设计 框架版本选型 服务器选型 集群资源规划设计（测试服务器规划和开发环境和正式运行环境规划） 配置：熟悉配置的文件、配置文件的修改、配置文件的优化 配置文件进行翻译-找到对应的值和含义，配置文件的优化选项 核心配置文件的备份 配置文件时，先查看是否存在这个文件后，再进行编辑，记得添加注释，注释很重要，要养成良 好的习惯 配置模板template文件需要进行备份 安装之前先确定安装软件的版本号--一定要确定 测试安装(mysql\red...
2021-03-19 09:58:51
123
原创 work
1.各种配置文件注释的整理、各组件的安装包、各组件之间的依赖2.各种组件命令的整理3.安装文档的整理4.组件版本的适配的整理5.各版本之间的区别、配置文件的区别、性能的区别和对于的扩展6.各组件的对于的监控、监控指标、对于监控的数据源7.基准测试，性能测试，性能调优8.问题排查。日志位置、数据存储位置9.对于的端口整理、Web操作界面熟悉10.对于脚本和定时任务的编写，集群启动脚本和集群分发脚本11.数据质量安全管理12.数据监控报警13.测试工具SQL的熟悉
2021-03-19 09:52:11
130
原创 hive的函数类型
UDF：(User-Defined-Function)，即最基本的自定义函数，类似to_char,to_date等UDAF：（User- Defined Aggregation Funcation），用户自定义聚合函数，类似在groupby之后使用的sum,avg等UDTF(User-Defined Table-Generating Functions):,用户自定义生成函数，有点像stream里面的flatMap...
2021-03-18 11:44:51
473
原创 变化数据捕获方法
有时间戳、快照、触发器和日志四种。时间戳方法需要源系统有相应的数据列表示最后的数据变化。（弱点：要求业务系统的表必须一个可以标识新旧数据的字段） 快照方法可以使用数据库系统自带的机制实现，如Oracle的物化视图技术，也可以自己实现相关逻辑，但会比较复杂。 触发器是关系数据库系统具有的特性，源表上建立的触发器会在对该表执行insert、update、delete等语句时被触发，触发器中的逻辑用于捕获数据的变化。(优点：抽取性能高。缺点：需要业务表建立触发器，对业务系统有一定的影响。) 日志可以使用
2021-03-17 17:13:41
530
原创 传统数仓四层模型
传统数据仓库一般分为四层模型 ods 原始数据层 存放原始数据，保持原貌不做处理 dwd 明细数据层 对ods层数据清洗（去除空值，脏数据，超过极限范围的数据） dws 服务数据层 轻度聚合 ads 应用数据层 具体需求 ...
2021-03-17 14:43:39
6639
原创 Griffin数据质量监控
数据质量统计的维度准确度度量Accuracy Measure 性能分析度量Profiling Measure Rule规则编写：空值个数查询 去重个数统计 最大值、最小值 排序 范围查询
2021-03-17 14:21:50
220
原创 20210316bld
1.怎么判断两个ip是否是同一网段2.怎么判断kafka消息是否堆积，消息堆积怎么处理3.web服务器熟悉哪些，nginx的配置是否熟悉4.接口自动化那块有没有用到mysql和redis5.接口自动化的覆盖率大概是多少？6.web前端的知识是多少？会看代码7.java和python哪个好点？java的熟悉程度？有没有编过代码8.怎么判断io的影响因素9.linux命令熟悉程度10.在公司主要工作和项目11.国产服务器有没有进行使用过搭建数据库之类的12.对找工作的
2021-03-16 15:37:06
111
1
原创 Flink SQL 16个query测试集合
1.空跑2.转换conversion3.过滤查询4.双流join5. having average6.最多HoT7.10个成功售出的平均价格8.竞价最高的竞标以及价格9.这段时间创建拍卖的用户10.计算每个拍品的获胜标记录Winning11.将所有事件记录写到文件系统。展示乐将数据流按窗口写入分区文件12.每个用户在每个活跃周期中进行了多少次出价？展示了session window13.每个用户在固定的处理事件窗口中进行了多少出价？展示了processing
2021-03-16 10:08:50
241
原创 基准测试的特点
基准测试的特点1.可复现性测试结果可以重现2.能调整作业的负载（数据量、数据分布）数据库领域非常著名的TPC-H、TPC-DS涵盖了大量的query集合，来捕获查询引擎之间细微的差别。而且这些query集合都立于真实业务场景之上（商品零售行业），数据规模大，因此也很受一些大数据系统的青睐。3.能调整作业的负载。即数据量、数据分布在大数据领域，不同的数据规模对于引擎来说可能会是完全不同的事情。例如 Yahoo Benchmark 中使用的 campaign id 只有 10.
2021-03-16 09:40:33
236
原创 20210312bld
1.主要负责的项目2.环境问题3.k8s组成，development是主要干嘛的4.nginx经常用来干嘛5.linux常用的命令6.接口自动化的token \三种方案7.java有没有用来测试8.是否接受短期的出差9.性能测试怎么做...
2021-03-12 16:49:32
56
原创 20210312xhzs
1.怎么做session清空测试？2.kafka的堆积怎么处理？3.Sql查询过慢怎么查找？4.Linux常用的命令？5.selenium怎么进行封装的?6.性能测试怎么做的？7.安全测试怎么做的？8.你的规划是怎么样的？9.测试流程是怎么样的？10.接口测试工具是哪些？11.怎么处理好学习和工作之间的关系12.docker的映射端口13.您主要负责的项目...
2021-03-12 16:32:39
86
原创 Hbase基准测试
Hbase基准测试1.Hbase读写测试1.1Hbase顺序写测试原理Hbase自带org.apache.hadoop.hbase.PerformanceEvaluation--nomapred工具测试环境3台服务器-hadoop集群模式：hadoop版本2.7.2 hbase1.3.1hadoop命令配置环境变量hbase命令配置环境变量配置1台 ：内存16G、CPU4核、宽带1Mbps、SSD500G配置2台 ：内存4G、CPU2核、宽带1Mbps、SSD500G
2021-03-11 17:48:45
412
原创 20210311wft
1.支付怎么测试 支付场景和支付回调 -支付金额、支付方式、支付密码、支付状态、支付对账、退款、红包和优惠券、支付订单状态2.接口测试和功能测试的区别？关注点有什么不一样3.你遇到问题时，产品说不是问题，怎么进行解决4.测试流程是怎么样的5.三类户和二类户的区别6.测试环境搭建7.接口测试和功能测试和接口自动化占比重是多少？8.对账的流程是怎么的9.补单流程是怎么样的10.外部系统没有对接完成，怎么进行测试...
2021-03-11 15:20:44
63
原创 Hadoop基准测试
Hadoop基准测试1.HDFS读写测试1.1.测试HDFS写性能测试原理hadoop自带TestDFSIO读写性能测试工具测试环境3台服务器-hadoop集群模式：hadoop版本2.7.2 hadoop命令配置环境变量配置1台 ：内存16G、CPU4核、宽带1Mbps、SSD500G配置2台 ：内存4G、CPU2核、宽带1Mbps、SSD500G测试方案10个128MB的数据块测试步骤 清空数据，执行如下2个命令 hadoop jar had.
2021-03-11 14:35:53
356
原创 20210310wx
1.存储过程为什么快？存储过程的一些函数?2.怎么搜索文件里面的某个字段的出现的次数3.常用linux命令4.怎么对接口进行性能测试的5.python会哪些库，能不能具体说下6.python你是怎样写代码的7.接口组件性能测试8.有没有用过python的多线程9.怎样判断是前端问题还是后端问题10.接口之前参数传递怎么进行传递的？11.接口自动化用的是什么框架？12.1000并发怎么去测13.性能测试报表的结果怎么来...
2021-03-10 16:08:26
69
原创 20210309yc
1.接口测试工具是什么？2.有没有遇到因为外部原因影响的工期？怎么解决得？3.你主要关注测试得哪些方面？4.给一个功能点你怎么进行测试？有没有与其他功能有关联、5.测试不是提给开发之前不是需求？6.对加班程度得接受度？7.晚上睡觉有问题愿意是否定位问题？...
2021-03-09 14:04:15
60
原创 20210308CC
接口安全测试http请求包含哪几部分元祖和列表的区别 列表不能列表和set区别 set内容不能重复(1,)是不是元祖请求头不传参数返回什么，状态码返回200元祖和列表哪个可以返回key压力测试包括哪些？并发、强度、容量、非关系型数据库？redis和mgdb对redis的数据持久化测试对redis操作怎么做 增加key和删除key怎么验证大量数据的结果正确性Hdfs怎么进行验证数据测试状态行包含哪些怎样针对变化的token?sql索引有什么好处mysql的存储过程有什...
2021-03-08 17:11:51
1123
原创 spark知识点整理
1.查看端口spark端口号Spark-shell运行任务情况端口：4044Spark Master内部通信服务端口号：7077Spark历史服务器端口号：18080Hadoop Yarn任务运行情况查看端口号：80882.核心组件1.Driver Executor2.Master&Worker进程 Master主要负责资源的调度和分配 3.ApplicationMaster ResourceManager和Driver之间解耦合靠的纠删ApplicationMaste...
2021-03-08 11:01:07
131
2
原创 大数据框架版本
Hive 3.12Hadoop 3.1.3hbase 2.0.5spark 3.0.0zookeeper 3.5.7flume 1.9.0ranger 2.0.0sqoop 1.4.7
2021-03-07 15:39:02
158
原创 Hbase总结知识点
Hbase1.设计RowKey尽量用时间戳2.每个列都有列族（CF）3.Cell-单元格,都是由字节码存储的4.Time Stamp是非常重要的5.查看命名空间list_namespace6.创建命名空间create_namespace7.删除命名空间delete_namespace8.老版本以0.8和0.9划分的9.老版本存在-root表10.读流程和hmaster没有关系11.读没有写的速度快12.写数据不会触发元数据更新，写数据和Hmatser也没有关系
2021-03-07 14:14:15
94
1
原创 大数据测试内容
数据涉及数据创建、存储、检索、分析，而且它在数据、多样性和速度方法都很出色大数据应用程序更多的是验证其数据处理，而不是测试产品的个别功能。当涉及到大数据测试时，性能和功能测试是关键。数据质量也是大数据测试的一个重要因素。它涉及检查各种字段，如准确性、重复性，一致性数据处理可以是三种类型：批量实时交互测试方面：验证其数据处理：创建、存储、检索和分析数据处理三种类型：批量\实时、交互 性能：Hdfs读写 mapreduce计算性能 测试作业完成时间、内存使用率、数据吞吐率 数...
2021-03-07 13:33:09
783
1
原创 Hadoop生成调优测试点
Hadoop生成调优点1.HDFS--核心参数NameNode内存生成配置NameNode心跳并发配置开启回收站配置2.HDFS集群压测测试HDFS写性能 向 HDFS 集群写 10 个 128M 的文件测试HDFS读性能 3.HDFS多目录NameNode多目录配置DataNode多目录配置集群数据均衡之磁盘间数据均衡4.HDFS击取扩容及缩容1.添加白名单2.服务新服务器3.服务器间数据均衡4.黑名单退役服务器5.HDFS-存储优化1.纠删码策略 ...
2021-03-07 13:23:50
76
原创 Cypress web自动化-配置文件cypress.json
配置cypress.json 文件配置baseUrl 设置窗口大小 查找测试文件 跨域问题 查看配置
2021-03-03 17:03:32
451
1
原创 Cypress web自动化-fixture读取数据
fixture读取数据describe('登陆web网站案例', function() { beforeEach(() => { cy.visit('http://ip:8080/zentao/user-login.html'); cy.fixture('login.json').as('login') }) it("登陆案例", function () { cy.log("读取login.json...
2021-03-03 15:00:01
308
1
原创 Cypress web自动化-参数化和数据驱动
describe('参数化案例，输入不同的值', function() { // 定义测试数据 var testdatas = ["北京", "上海", "南京"] // 前置-打开浏览器 before(() => { cy.visit('https://www.baidu.com') }) // 参数化 testdatas.forEach((event) => { it("百度输入框功能",..
2021-03-03 14:34:13
439
1
原创 Cypress web自动化-Hooks和测试执行的顺序如下
Hooks和测试执行的顺序如下： before()钩子运行（一次） beforeEach()每个测试用例前都会运行 it运行测试用例 afterEach()每个测试用例之后都会运行 after()钩子运行(一次)
2021-03-03 14:31:44
468
1
原创 Cypress web自动化-父子元素定位
父子元素定位 .chidren()通过父元素，定位子元素 .closest()要获取最近的祖先DOM元素，请使用.closet()命令 .eq要在特定索引处获取DOM元素，请使用.eq()命令 .filter()要获取与特定选择器匹配的DOM元素，请使用.filter()命令 .find()要获取选择权的子代DOM元素，通过父子关系层级定位 .first()要获取元素中的第一个DOM元素，请使用.first()命令 .last()要获取元素中
2021-03-03 14:04:11
540
原创 Cypress web自动化-定位元素
定位元素（Querying） cy.get()定位元素用selectors cy.contains()根据元素的内容找到元素 .within()在特定的DOM元素中找到元素 cy.root() root就是document根路径
2021-03-03 14:02:02
144
原创 Cypress web自动化-Navigation导航（go,reload,visit）
Navigation导航（go,reload,visit） cy.go() cy.reload() cy.visit()
2021-03-03 13:59:09
126
原创 Cypress web自动化-window窗口属性
Cypress web自动化-window窗口属性 cy.window()要获取全局窗口对象 cy.document()要获取document对象，请使用cy.document()命令 cy.title()要获取标题，请使用cy.title()命令
2021-03-03 13:57:52
432
原创 Cypress web自动化-viewport设置不同分辨率，适配不同设备，手机型号
Cypress web自动化-viewport设置不同分辨率，适配不同设备，手机型号viewport()
2021-03-03 11:43:17
319
原创 Cypress web自动化-聚焦元素focused和截图screenshot使用
Cypress web自动化-聚焦元素focused和截图screenshot使用 .end()结束命令链 cy.exec()执行系统命令 cy.focused()点击元素后判断当前元素是否聚焦 cy.screenshot()屏幕截图，保存路径cypress/screenshots/my-image.png cy.wrap()包装对象{foo:bar} ...
2021-03-03 11:39:35
141
原创 Cypress web 自动化的Cookie操作
Cypress web 自动化的Cookie操作 cy.getCookie() cy.getCookies() cy.setCookie() cy.clearCookie() cy.clearCookies()
2021-03-02 22:59:09
238
原创 Cypress web自动化-Assert断言
Cypress web自动化-Assert断言 隐式断言.should()给当前用例加断言 and()针对同一元素多个断言，可以使用and语法 expect()显示断言 assert()针对项目BDD断言方式
2021-03-02 17:22:21
300
原创 Cypress web自动化-元素操作方法
Cypress web自动化-元素操作方法 type('wuqiang')往输入框输入文本元素 .focus()聚焦DOM元素 blur()判断输入框失去焦点时候，按钮的颜色 clear()清空DOM元素 submit()提交form表单 click()点击DOM元素 dblclick()双击DOM元素 rightclick()右击DOM元素 check()检查checkbox or radio选项框 unche
2021-03-02 16:04:32
198
原创 pytest的assert断言
pytest的assert断言assert xx 判断xx为真assert not xx 判断xx不为真assert a in b 判断b包含aassert a == b 判断a 等于bassert a != b 判断a 不等于b
2021-03-01 15:41:04
125
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人