- 博客(3)
- 收藏
- 关注
RSS订阅原创 2.3大数据存储技术
大数据存储技术面向的是海量、异构数据，因此，它需要提供高性能、高可靠的存储和访问能力。本节将介绍大数据存储技术的概率和原理，包括Hadoop分布式文件系统（HDFS）、列式数据库（HBase）和其他数据存储技术2.3.1分布式文件系统：HDFS解决了大规模数据存储问题的有效方案。HDFS是hadoop两大核心组成部分之一HDFS集群包含一个名称节点（NameNode）和若干数据节点（DataNode）名称节点作为中心服务器，负责管理文件系统的命名空间，以及客户端对文件的访问数据节点负责处
2022-01-16 17:29:03
5190
原创 2.2大数据采集技术
大数据采集处于大数据生命周期的第一个环节，对于大数据分析和应用起着至关重要的作用大数据采集是指从传感器和智能设备，以及企业系统、社交网络和互联网平台等渠道获取数据的过程。这些数据来源广泛、种类繁多、数据量巨大且产生速度快、传统数据采用方法难以胜任，因此产生了新的数据采集方式----基于大数据的采集技术。除解决上述传统数据采集方法难以解决的问题以外，大数据采集技术还要保证数据采集的可靠性、高效性，而且要避免重复数据。根据数据源的不同，发数据采集通常可以分为以下3类1.系统日志采集系统日志采
2022-01-16 17:01:01
2214
原创 大数据测试技术与实践之大数据技术生态总览
大数据的数据多样性和分析需求的多元化等，促使众多技术组件产生，还使得大数据的技术体系变得非常复杂，可以划分为数据采集，数据存储，管理调度（包括资源管理、服务协调和工作流调度）、计算分析和组件应用1.数据采集：主要由关系型与非关系型数据采集组件，以及分布式消息队列等构成，如sqoop、Flume、Scnbe和Kafka等2.数据存储：主要由分布式文件系统、关系型数据库和非关系型数据库等构成，如HDFS、MYSQL、HBase、Kudu、Redis和Neo4j等3.管理调度：主要包含统一资源管理与调
2022-01-16 15:36:21
2296
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人