大数据测试技术与实践学习1

最新推荐文章于 2024-06-06 20:51:33 发布
最新推荐文章于 2024-06-06 20:51:33 发布
阅读量2.3k 收藏
点赞数
分类专栏： 测试 文章标签： hbase hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39349045/article/details/122706125
版权

对数据库的学习

HDFS分布式文件系统
hadoop

数据节点复制粘贴有多个保证了数据的准确性
有名称节点，通过名称节点对数据节点进行查询，找到数据


hbase
建立在hdfs基础上面，面向列的nosql数据库
苗苗大佬
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据技能竞赛知识点解析与实践.pptx
10-04
大数据技能竞赛知识点解析与实践.pptx
大数据测试-大数据技术学习资料篇（大数据开发、测试）
全村的希望的博客
07-28 757
尚硅谷大数据全套视频教程 下载链接：https://pan.baidu.com/s/18Feqa_63640xPB0fYJ8Ttg 提取码：9bnr 大数据学习路线图： http://www.atguigu.com/bigdata_video.shtml#bigdata 更多尚硅谷视频教程请访问： http://www.atguigu.com/download.shtml ...
什么是大数据测试？有哪些类型？应该怎么测?
最新发布
nhb687096的博客
06-06 974
传统的。
大数据测试——精选推荐.pdf
12-24
⼤数据测试 ⼤数据测试 什么是⼤数据 什么是⼤数据 ⼤数据是指⽆法在⼀定时间范围内⽤传统的计算机技术进⾏处理的海量数据集。 对于⼤数据的测试则需要不同的⼯具、技术、框架来进⾏处理。 ⼤数据的体量⼤、多样化和⾼速处理所涉及的数据⽣成、存储、检索和分析使得⼤数据⼯程师需要掌握极其⾼的技术功底。 需要你学习掌握更多的⼤数据技术、Hadoop、Mapreduce等等技术。 ⼤数据测试策略 ⼤数据测试策略 ⼤数据应⽤程序的测试更多的是去验证其数据处理⽽不是验证其单⼀的功能特⾊。 当然在⼤数据测试时，功能测试和性能测试是同样很关键的。 对于⼤数据测试⼯程师⽽⾔，如何⾼效正确的验证经过⼤数据⼯具/框架成功处理过的⾄少百万兆字节的数据将会是⼀个巨⼤的挑战。 因为⼤数据⾼效的处理测试速度，它要求测软件⼯程师具备⾼⽔平的测试技术才能应对⼤数据测试。 我们来看下⼤数据处理的三个特性： ⼤批量 实时性 可交互 另外，数据质量也同样是⼤数据测试的⼀个重要维度。 因此在进⾏应⽤程序测试之前，必须确保数据质量，并且考虑把数据质量作为数据库测试的⼀部分。涉及数据的各种特性的检验，例如⼀致性、准确性、重复 性、连贯性、有效性及完整性等等。 ⼤数据应⽤测试步骤 ⼤数据应⽤测试步骤 下⾯我们⼀起看看⼤数据应⽤的测试过程是怎么样的。 整体⽽⾔，⼤数据测试⼤体可以分为三⼤步骤： 步骤⼀，数据预处理验证 在进⾏⼤数据测试时，⾸先要预hadoop前验证数据的准确性等等。 1. 我们数据来源可能是关系数据库、⽇志系统、社交⽹络等等，所以我们应该确保数据能正确的加载到系统中 2. 我们要验证加载的数据和源数据是⼀致的 3. 我们要确保正确的提取和加载数据⾄hdfs中 步骤⼆，Map Reduce验证 在进⾏⼤数据测试时，第⼆个关键步骤是"Map Reduce"验证。在本阶段，我们主要验证每⼀个处理节点的业务逻辑是否正确， 并验证在多个运⾏后，确保： 1. Map Reduce过程⼯作正常 2. 数据聚合、分离规则已经实现 3. 数据key-value关系已正确⽣成 4. 验证经过map reduce后数据的准确性等特性 步骤三，结果验证 在本阶段主要验证在经过⼤数据⼯具/框架处理后，⽣成的最终数据的成果。 主要验证： 1. 验证数据转换规则是否正确应⽤ 2. 验证数据的完整性和是否成功持久化到⽬标系统 3. 验证⽆数据损坏 架构测试 架构测试 Hadoop处理海量数据是⾮常的消耗资源的，良好的架构是确保⼤数据项⽬成功的基础。糟糕的涉及会导致性能急剧的下降，进⽽使得系统⽆法满⾜我们的需 要，因此我们需要，或是说⾄少在Hadoop环境下进⾏性能测试、故障恢复测试，以应改进效率和应对可能的最糟糕的情况。 性能测试是⼀个复杂的⼯作，它贯穿整个测试周期，需要关注内存、CPU、⽹络等等指标。 故障恢复测试则是验证数据处理过程中可能出现的故障，为做好意外的恢复做好相应的应对措施。 性能测试 性能测试 ⼤数据性能测试主要包含以下⼏个部分： 数据提取、存储效率 在本阶段，我们主要验证⼤数据应⽤从源数据中提取、加载数据的效率。 ⼀是验证单位时间内数据的提取、加 载效率。 ⼆是验证数据持久化⾄mongodb等库的效率等等 数据处理 在本阶段，我们验证map reduce任务的执⾏效率，重点关注的是数据处理的效率。当然这个过程可能也会涉及到数据的持久化相关指标，例如存储⾄HDFS读 写效率等等，同样也会涉及在内存中处理效率，即我们的处理算法效率等等 ⼦组件性能 ⼤数据处理，⼀般都会需要综合利⽤各种组件来辅助处理，所以我们也是需要关注这些辅助组件的性能 性能测试策略 性能测试策略 ⼤数据应⽤性能测试涉及海量的结构化和⾮结构化的数据，与我们平时所⾯对的业务系统有所不同，所以我们需要针对⼤数据应⽤制定特定的测试策略，以应对 海量的数据。 根据上图性能测试执⾏过程⼀般是这样的： 1. 在性能测试前需要先初始化⼤数据集群环境 2. 梳理和设计⼤数据性能测试场景 3. 准备⼤数据性能测试脚本 4. 执⾏并分析测试结果（如果指标异常，则调优相应的组件并重新测试） 5. 优化配置 性能测试基础准备 性能测试基础准备 在⼤数据性能测试时，需要准备相关的基础⼯作，如下： 数据准备，我们需要在不同的节点准备什么量级数据？ ⽇志预估，在测试过程中，可能会⽣成多⼤的⽇志，⽇志的可能增量是什么样的？ 并发，在测试时，可能会有多少线程并发读和写？ 超时设置，应对设置怎样的连接超时？查询超时？写超时等等？ JVM参数，如何设置最优的jvm参数，heap size、GC机制等等 Map Reduce，我们应该选择什么样的sort、merge等算法？ 消息队列，消息队列长度会怎么样？等等 必备的测试环境 必备的测试环境 ⼤数据测试不同
大数据测试技术与实践之大数据技术生态总览
weixin_45334173的博客
01-16 2296
大数据的数据多样性和分析需求的多元化等，促使众多技术组件产生，还使得大数据的技术体系变得非常复杂，可以划分为数据采集，数据存储，管理调度（包括资源管理、服务协调和工作流调度）、计算分析和组件应用 1.数据采集：主要由关系型与非关系型数据采集组件，以及分布式消息队列等构成，如sqoop、Flume、Scnbe和Kafka等 2.数据存储：主要由分布式文件系统、关系型数据库和非关系型数据库等构成，如HDFS、MYSQL、HBase、Kudu、Redis和Neo4j等 3.管理调度：主要包含统一资源管理与调
大数据测试基础
qq_31121071的博客
07-12 4758
1.什么是大数据 大数据是一个大的数据集合，通过传统的计算技术无法进行处理。这些数据集的测试需要使用各种工具、技术和框架进行处理。大数据涉及数据创建、存储、检索、分析，而且它在数量、多样性、速度方法都很出色，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产 2.大数据测试类型 测试大数据应用程序更多的是验证其数据处理，而不是测试软件产品的个别功能。当...
云计算大数据关键技术与应用.ppt
11-12
"云计算大数据关键技术与应用" 云计算和大数据技术架构的关键技术包括虚拟化技术、分布式数据处理技术和海量数据存储技术。虚拟化技术可以实现软件应用与底层硬件的相互隔离，包括将单个资源划分成多个虚拟资源的裂...
大数据技术与应用专业人才培养方案-2020级.docx
12-15
大数据技术与应用专业人才培养方案旨在培养思想政治坚定、德技并修、全面开展，具有一定的科学文化水平、良好的职业道德和工匠精神、掌握计算机软件相关理论知识，具有系统应用的开发、维护、测试能力，具备从事大...
大数据技术原理及应用.pdf
10-26
Hadoop项目可以用于机器学习，例如对大型数据集进行机器学习模型的训练和测试。 3. 数据可视化 Hadoop项目可以用于数据可视化，例如对大型数据集进行可视化分析和展示。 4. 实时数据处理 Hadoop项目可以用于实时...
云计算大数据架构模式与实践.docx
10-10
总结，云计算大数据架构模式与实践是现代企业数字化转型的关键。通过理解并合理运用这些模式，企业可以构建高效、安全的数据驱动型基础设施，从而在竞争激烈的市场中获得优势。同时，随着技术的不断发展，企业应持续...
大数据测试基本知识
surge
06-15 2477
常用大数据框架结构1.大数据测试常用到的软件工具工具推荐，对于测试数据构造工具有：Datafaker、DbSchema、Online test data generator等；ETL测试工具有：RightData、QuerySurge等；数据质量检查工具：great_expectations、mobyDQ、DataQuality、GriFFin、Qualitis等。大数据生态圈1.基于hadoop的大数据生态圈2.基于大数据生态圈平台3.基于大数据搜索引擎。
大数据测试入门介绍
LOVEYSUXIN的专栏
11-09 4355
大数据测试入门了解介绍
大数据测试基础概念和工具
开源优测
05-28 2013
下方查看历史精选文章重磅发布 - 自动化框架基础指南pdfv1.1大数据测试过程、策略及挑战测试框架原理，构建成功的基石在自动化测试工作之前，你应该知道的10条建议在自动化测试中，重要的不是工具大数据已经成为当今的热门话题，随着数据量不断增加，大数据的测试变得越来越重要。本文将介绍大数据测试的概念、目的、测试类型、测试工具和测试策略。一、大数据测试的概念和目的大数据测试是指对大数据系统进行全面、系...
大数据如何进行测试
雨水的早晨的博客
09-02 6883
大数据测试通常是指对采用大数据技术的系统或者应用的测试。大数据测试可以分成两个维度，一个维度是数据测试，另一个维度是大数据系统测试和大数据应用产品测试。大数据测试和传统数据测试的不同对比项大数据测试传统数据测试数据量级需要处理的数据量级较高设计的数据量级较低数据结构处理的数据包括结构化数据、非结构化数据、和半结构化数据以结构化数据为主验证工作验证环节多，数据量大，较复杂抽取数据来验证，相对简单环境要求依赖HDFS、YARN和Zookeeper等集群环境依赖传统数据库测试工具。
大数据测试实践小结
test_soy的博客
12-02 9954
针对我们产品线的某些模型产品的需求，开始展开大数据测试，对大数据测试仍然属于摸索和尝试的阶段，大家感兴趣的欢迎拍砖。 　　一、 模型产生的过程 　　·  信息收集：需明确项目目标和业务需求，根据确定的数据分析对象，确定分析对象所需要的特征信息，以及特征信息的计算方法；这个过程业务方会做很多的准备工作，会拉数据去证明哪些特征信息与我们的数据分析对象是有关联的； 　　·  数
如何学习掌握大数据测试技术
04-14
很高兴能为您解答问题。学习掌握大数据测试技术，建议您可以通过以下几个步骤来实现： 1. 充分了解大数据测试技术的基础概念，包括大数据测试的目的、范围、流程、策略等。 2. 学习常用的大数据测试方法和工具，如数据完整性、数据一致性、数据准确性、数据安全性等测试方法，同时熟悉各种大数据测试工具的使用和操作。 3. 在实践中不断探索和学习，结合实际项目，不断积累经验和提升技能。 4. 不断关注和了解大数据领域的最新技术和发展趋势，不断学习和思考如何将新技术和方法应用到大数据测试中。 希望这些对您有所帮助，谢谢。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值