- 博客(7)
- 收藏
- 关注
原创 大数据测试怎么做(二)
在测试应用程序之前,有必要检查数据的质量,应该被视为数据库测试的一部分。大数据测试是对大数据应用程序的测试过程,以确保大数据应用程序的所有功能按预期工作。大数据测试的目标是确保大数据系统在保持性能和安全性的同时,平稳无差错地运行。测试大数据应用更多的是对其数据处理的验证,而不是测试软件产品的单个功能。大数据应用的性能测试涉及对海量结构化和非结构化数据的测试,需要特定的测试方法来测试如此海量的数据。应验证来自 RDBMS、网络日志、社交媒体等各种来源的数据,以确保将正确的数据提取到系统中。
2024-01-16 10:20:27
1103
原创 大数据系统常用组件理解(Hadoop/hive/kafka/Flink/Spark/Hbase/ES)
Spark streaming接收kafka、Flume、HDFS、套接字等各种来源实时输入数据,进行处理,处理后结构数据可存储到文件系统、数据库,或显示在可视化图像中;Hive 是构建在Hadoop HDFS上的数据仓库,可以将结构化的数据文件映射成一张数据库表,并提供类SQL查询功能,主要完成海量数据的分析和计算。可以实现高吞吐量的,具备容错机制的实时流数据的处理;Spark和hive结合的比较好,spark和Flink都是分布式流数据流引擎,能对集群资源进行分配使用,确保大计算快速准确完成。
2024-01-16 10:05:53
1828
原创 大数据测试怎么做(一)
大数据,是指一个公司创造或收集的“结构化”、“半结构化”或者“非结构化”的海量数据集合。它的意义不在于掌握的数据量是最大的,而在于能否有效、专业的对这些数据进行加工处理,并让这些海量的、多样化的数据产生最大的价值。大数据的主要特征:数据体量大、数据多样化、数据价值高、数据时效性;数据的链路:数据采集-->数据存储-->数据清洗/转换-->数据建模-->数据计算-->数据展示数据采集这一块。主要是我们把从业务系统、日志、埋点、数据文件中的一些数据采集过来。存储。
2024-01-15 16:48:56
414
原创 自动化测试框架:DrissionPage(2)—实际使用
'#user_login'是定位符文本,#意思是按id属性查找元素。links = page.eles('.title project-namespace-path') # 页面对象的eles()获取页面中所有class属性为'title project-namespace-path'的元素对象,eles()方法用于查找多个符合条件的元素,返回由它们组成的list。page.ele('.:ele_class') # 等价于 page.ele('@class:ele_class')
2023-11-24 21:45:03
1225
原创 自动化测试框架:DrissionPage(1)
但从 3.0 版开始,作者另起炉灶,用 chromium 协议自行实现了 selenium 全部功能,从而摆脱了对 selenium 的依赖,功能更多更强,运行效率更高,开发更灵活。因此,DrissionPage设计初衷,是将它们合而为一,能够在不同须要时切换相应模式,并提供一种人性化的使用方法,提高开发和运行效率。运行速度更快,可以跨 iframe 查找元素,无需切入切出,iframe 看作普通元素,获取后可直接在其中查找元素,逻辑更清晰。使不稳定的网络变得易于控制,程序更稳定,编写更省心。
2023-11-24 21:42:30
448
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人