大数据的特征，结构化数据 非结构化并且举例，Hadoop生态圈，Hadoop hdfs架构5hdfs读的流程

最新推荐文章于 2024-09-07 22:04:59 发布
最新推荐文章于 2024-09-07 22:04:59 发布
阅读量625 收藏 8
点赞数 14
文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_83287958/article/details/136547998
版权

大数据特征

  1. 数据量大(Volume) 非结构化数据的超大规模和增长，导致数据集合的规模不断扩大，数据单位已从GB到TB再到PB级，甚至开始以EB和ZB来计数。
  2. 类型繁多(Variety) 大数据的类型不仅包括网络日志、音频、视频、图片、地理位置信息等结构化数据，还包括半结构化数据甚至是非结构化数据，具有异构性和多样性的特点。
  3. 价值密度低(Value) 大数据本身存在较大的潜在价值，但由于大数据的数据量过大，其价值往往呈现稀疏性的特点。虽然单位数据的价值密度在不断降低，但是数据的整体价值在提高。
  4. 速度快时效高(Velocity) 要求大数据的处理速度快，时效性高，需要实时分析而非批量式分析，数据的输入，处理和分析连贯性地处理。
  5. 结构化数据

  6. 结构化数据，是指由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。

  7. 也称作行数据，一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。
     

    非结构化数据

    非结构化数据，是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、HTML、各类报表、图像和音频/视频信息等等。
    非结构化数据更难让计算机理解。

  8. hadpoop生态圈

  9. 16ac4b6747ae4bfcbd082f0bd8c6f0fa.png

     hadoop hdfs架构5hdfs读的流程

  10. 1、客户端向NameNode发起请求，需要获取名字为1的数据块 
    2、NameNode中保存了该数据块存储的位置，将DataNode的信息返回给客户端 
    3、客户端就近的方式去从DataNode获取数据 
    4、如果某个DataNode无法访问 
    5、从另一个DataNode中去获取数据 

     

2401_83287958
关注
  • 14
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop大数据生态圈组件
01-20
Hadoop大数据生态圈则围绕着Hadoop发展出了一系列互补性的组件，以实现更高效、更全面的数据处理解决方案。以下是这些组件的详细介绍： 1. Hadoop：Hadoop由两个主要部分组成——HDFS（Hadoop Distributed File ...
非结构化数据的存储与查询
热门推荐
kw-home
03-06 1万+
当今信息化时代充斥着大量的数据。海量数据存储是一个必然的趋势。然而数据如何的存储和查询，尤其是当今非结构化数据的快速增长，对其数据的存储，处理，查询。使得如今的 关系数据库存储带来了巨大的挑战。分布存储技巧是云计算的根基,主要研究如何存储、组织和管理数据中心上的大规模海量数据.由于面临的数据规模和用户规模更加庞大,在可扩展性、容错性以及成本控制方面面临着更加严峻的挑战[1]。      
初识Hadoop
2302_76955238的博客
03-07 920
4.客户端接收数据。生态圈中的每个子系统只负责解决某一个特定的问题区域，甚至可能更小，它并不是一个全能系统，而是多个小的系统的集成。通俗来讲，带有结构，有序的数据统称为结构化数据，例如我们平常使用的Excel，mysql，数字，符号等等。半结构化数据是结构化数据的一种形式，半结构化数据就是介于完全结构化数据和完全无结构的数据之间的数据。与传统媒体相比，在大数据时代的今天，信息的生产和传播发生了巨大的变化。随着信息技术的发展和互联网的不断扩大，每个人的生活都被记录在大数据中，数据本身也出现了爆发式增长。
Hadoop学习日志1-结构化数据与非结构化数据
qq_23871147的博客
07-17 4231
非结构化数据库是指其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库，用它不仅可以处理结构化数据（如数字、符号等信息）而且更适合处理非结构化数据（全文文本、图象、声音、影视、超媒体等信息）。 非结构化数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等 结构化数据： 能够用数据或统一的结构加以表示，我们称之
hadoop大数据生态圈工具配置与应用.pdf
12-09
【Hadoop大数据生态圈工具配置与应用】 Hadoop是Apache软件基金会的一个开源项目，它提供了一个分布式文件系统（HDFS）和一个并行处理框架MapReduce，使得在大规模数据集上进行计算成为可能。Hadoop生态系统的组件...
项目源码：基于Hadoop+Spark招聘推荐可视化系统 大数据项目
02-03
数据存储与处理：系统利用Hadoop分布式文件系统（HDFS）存储采集到的招聘数据，并使用Hadoop生态圈中的工具（如Hive、HBase等）进行数据处理和管理。Spark作为数据处理引擎，提供高性能的批处理和实时计算能力，对...
基于Hadoop+Spark招聘推荐可视化系统 大数据项目 毕业设计（源码下载）
10-21
数据存储与处理：系统利用Hadoop分布式文件系统（HDFS）存储采集到的招聘数据，并使用Hadoop生态圈中的工具（如Hive、HBase等）进行数据处理和管理。Spark作为数据处理引擎，提供高性能的批处理和实时计算能力，对...
基于Hadoop生态圈的选煤数据中台设计.docx
11-07
本文以“基于Hadoop生态圈的选煤数据中台设计”为主题，深入探讨了如何利用Hadoop架构来构建一个适用于选煤行业的数据处理平台。Hadoop是一个开源的分布式计算框架，它在大数据处理领域具有显著的优势，尤其在数据...
维度不固定的多维数组形参笔记
H2z1220的博客
09-05 184
假如我有多个元素个数都不一致的多维数组都需要调用这个函数进行处理，这个形参问题就凸显出来了，总不能创建N个不同的函数来进行处理吧？这样也太繁琐了，而且也适用度不高。这个函数可以传入多维数组，但元素个数必须是固定的，假如传入一个str[][20]，元素个数不一样的数组，那么这个函数就不适用了，且会报错。所有数据在存储空间里面都是有地址的，那么就可利用指针寻址来获取到相应的数据。在查找了一些资料后受到了一点启发。而这里也可利用指针来指向多维数组。
【机器人工具箱Robotics Toolbox开发笔记（十）】机器人微分运动学
m0_72676510的博客
09-07 95
机器人工具箱中，可用函数SerialLink.jacob0（）求出对应某个位姿下绝对坐标系中的雅可比矩阵，用SerialLink.jacobn（）求出对应某个位姿下工具坐标系中的雅可比矩阵。
C++学习笔记（10）
qq_60098634的博客
09-07 411
unordered_multimap 和 unordered_map 的区别在：unordered_multimap 允许关键字重复，而。unordered_multiset 和 unordered_set 的区别在：unordered_multiset 允许关键字重复，而。
【机器人工具箱Robotics Toolbox开发笔记（一）】Matlab机器人工具箱简介
m0_72676510的博客
09-04 158
MATLAB的Robotics Toolbox（简称RTB）是一款在MATLAB环境下进行机器人建模、仿真和控制的工具箱。它由Peter Corke教授开发，已成为机器人领域中最受广泛使用的MATLAB工具箱之一。
【扇贝编程】使用Selenium模拟浏览器获取动态内容笔记
m0_73676887的博客
09-03 1656
文章目录selenium安装 selenium下载浏览器驱动获取数据处理数据查找一个元素查找所有符合条件的元素控制浏览器 selenium selenium是爬虫的好帮手， 可以控制你的浏览器，模仿人浏览网页，从而获取数据，自动操作等。 我们只要让 selenium 自动控制浏览器，实现爬取数据、自动抢票…… selenium要打开浏览器并控制它，占用的资源会更多，爬取数据的效率也会有所降低。 安装 selenium pip install selenium 下载浏览器驱动 根据你使用的浏览器（如 Chr
NLP面试题（9月4日笔记）
ldk的博客
09-04 816
GRU中的另一个门被称为重置门，控制要遗忘多少过去的信息；GRU可看作是LSTM的一个变体，与LSTM相比，GRU只有两个门，将LSTM中的输入门和遗忘门合二为一，称为更新门，控制前边记忆信息能够继续保留到当前时刻的数据量，或者说决定有多少前一个时间步的信息和当前时间步的信息要被继续传递到未来；自然语言处理领域内所需要处理的信息通常是文本、语音等序列化的数据，对应数据通常会有较强的上下文依赖关系，因此在对对应的数据进行处理时，不仅需要了解当前数据的相关信息，同时还需要能够对上下文之间的数据能够有所了解。
尚硅谷前端 ES6 笔记
胡西风的博客
09-04 1691
ECMA（European Computer Manufacturers Association）是欧洲计算机制造商协会，目标是评估、开发和认可电信和计算机标准。1994年后改名为Ecma国际。ECMA-262 是Ecma国际制定的一个标准，专门描述了ECMAScript语言的行为。
【数学分析笔记】第3章第1节 函数极限（2）
随手写写
09-03 425
3. 函数极限与连续函数 3.1 函数极限 lim⁡x→x0f(x)=A:\lim\limits_{x\to x_{0}}f(x)=A:x→x0​lim​f(x)=A:对任意给定的ε>0\varepsilon>0ε>0，可以找到δ>0\delta>0δ>0，当xxx满足0<∣x−x0∣<δ0<|x-x_{0}|<\delta0<∣x−x0​∣<δ成立∣f(x)−A∣<ε|f(x)-A|<\varepsilon∣f(x)−A∣
fluent 旋转机械流场与声场仿真-学习笔记
Big_SHOe的博客
09-05 433
动网格算稳态和瞬态（平移，旋转，变形，偏转，例如阀门运动），滑移网格算瞬态（旋转）无须共享节点，运动参考系(SRF(Single-Reference Frame),MRF(Mult-Reference Frame), MPM(Mix-Plane model))算稳态。当期望获得转子-定子作用时间精确解(而不是时间平均解)时，必须采用滑移网格进行瞬态流场计算。滑移网格是最精确的用于求解多运动参考系问题的模型，然而对计算也是最苛刻的。很多时候，在滑移网格模拟中寻求的瞬态解是时间周期的。
STM32学习笔记4 --- USART
2301_80397661的博客
09-06 576
2.GPIO初始化，TX复用输出，RX输入（这个程序仅输出可以先只初始化一个pa9 把PA9配置为复用推挽输出,供USART1的TX使用），而CAN虽然也用于串行通信，但其通常不被直接归类为传统的串口通信协议，而是作为一种特定的串行通信协议存在。每个字节的数据加上起始位、停止位、可选的校验位，打包为数据帧,依次输出在TX引脚,另一端RX引脚依次接收。数据包的作用是，把一个个单独的数据给打包起来，方便我们进行多字节的数据通信。4.发送函数，接收函数，获取发送和接收的状态,就调用获取标志位的函数。
Effective Java学习笔记--39-41条 注解
最新发布
weixin_50353846的博客
09-07 674
​ 注解本身是一种元数据机制，它提供了一种在代码中提供额外信息的方式，程序可以根据这些注解来执行特定的动作。对于注解的基本介绍在之前的文章里已经详细介绍了(Java注解总结)，这里补充一下自定义注解的使用案例，其与命名方式相比的一些优势以及与标记接口的对比。
大数据挑战与Hadoop入门：探索Hadoop生态圈
Hadoop生态圈是围绕Hadoop发展起来的一系列相关项目和工具，包括数据存储（如HDFS）、数据处理（如MapReduce）、数据查询（如Hive和Pig）以及数据流处理（如Spark）等，这些组件共同构成了一个强大的大数据处理生态...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值