Big Data>HDFS讲义（1）

最新推荐文章于 2024-04-21 18:48:10 发布
最新推荐文章于 2024-04-21 18:48:10 发布
阅读量468 收藏
点赞数
分类专栏： Big Data 文章标签： Big Data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44509920/article/details/102908928
版权
本文详细介绍了Hadoop的HDFS（Hadoop Distributed File System），讲解了其基本概念、文件系统组成、HDFS的分块存储机制、副本存放策略、NameNode和DataNode的功能以及HDFS的文件读写流程。HDFS通过块抽象存储文件，以实现高可靠性和高吞吐量的数据存储，特别适合大数据存储和分析场景。
摘要由CSDN通过智能技术生成

文章目录

  • Hadoop组成
    Hadoop HDFS：一个高可靠、高吞吐量的分布式文件系统，对海量数据的存储。
    Hadoop MapReduce：一个分布式的资源调度和离线并行计算框架。
    Hadoop Yarn：基于HDFS,用于作业调度和集群资源管理的框架。
    Hadoop Common：Hadoop工具包，支持其他模块的工具模块（Configuration、RPC、序列化机制、日志操作）
    在这里插入图片描述

1、 Hadoop的文件系统介绍

  • HDFS 基本介绍
    HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。
    分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力
    在这里插入图片描述
    HDFS使用Master和Slave结构对集群进行管理。一般一个 HDFS 集群只有一个 Namenode 和一定数目的Datanode 组成。Namenode 是 HDFS 集群主节点，Datanode 是 HDFS 集群从节点，两种角色各司其职，共同协调完成分布式的文件存储服务
  • 总结
    理解： 将多个节点的容量汇总到一起拼接成一个大的文件系统，在一个节点上传数据，在其他的节点上都能够访问使用

在这里插入图片描述

hadoop 的组成部分

NameNode（Master）管理者
作用
1.只负责管理，管理集群内各个节点。
2.负责管理整个文件系统的元数据（指的是数据的存放位置或存放路径）或名字空间

  • SecondaryNameNode 辅助管理
    作用
    1.只负责辅助NameNode管理工作。

  • DataNode(Slave) 工作者
    作用
    1.负责工作，进行读写数据，周期向NameNode汇报。
    2.负责管理用户的文件数据块(一个大的数据拆分成多个小的数据块）

  • 1）HDFS集群包括
    NameNode和DataNode以及Secondary Namenode。

  • 2）NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。

  • 3）Secondary NameNode用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。最主要作用是辅助namenode管理元数据信息

  • 4）DataNode 负责管理用户的文件数据块，每一个数据块都可以在多个datanode上存储多个副本。

MapReduce Yarn
管理者：ResourceManager
工作者：NodeManager
在这里插入图片描述

HDFS分块存储

  • hdfs将所有的文件全部抽象成为block块来进行存储，不管文件大小，全部一视同仁都是以block块的统一大小和形式进行存储，方便我们的分布式文件系统对文件的管理
  • 所有的文件都是以block块的方式存放在HDFS文件系统当中，在Hadoop1当中，文件的block块默认大小是64M，Hadoop2当中，文件的block块大小默认是128M，block块的大小可以通过hdfs-site.xml当中的配置文件进行指定
 <property>
        <name>dfs.block.size</name>
        <value>块大小 以字节为单位</value>//只写数值就可以
    </property>

在这里插入图片描述

  • 一个文件100M，上传到HDFS占用几个快？ 一个块128M，剩余的28M怎么办？
    事实上，128只是个数字，数据超过128M，便进行切分，如果没有超过128M，就不用切分，有多少算多少，不足128M的也是一个快。这个快的大小就是100M，没有剩余28M这个概念
  • 抽象成数据块的好处
    1.一个文件有可能大于集群中任意一个磁盘
    20T/128 = xxx块，这些block块属于一个文件
    2.使用块抽象而不是文件,可以简化存储子系统。
    3.块非常适合用于数据备份进而提供数据容错能力和可用性
    块缓存
  • 通常DataNode从磁盘中读取块，但对于访问频繁的文件，其对应的块可能被显示的缓存在DataNode的内存中，以堆外块缓存的形式存在。默认情况下，一个块仅缓存在一个DataNode的内存中，当然可以针对每个文件配置DataNode的数量。作业调度器通过在缓存块的DataNode上运行任务，可以利用块缓存的优势提高读操作的性能

HDFS副本存放机制

HDFS视硬件错误为常态，硬件服务器随时有可能发生故障。
为了容错，文件的所有 block 都会有副本。每个文件的 block 大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定，也可以在之后改变。
数据副本默认保存三个副本，我们可以更改副本数以提高数据的安全性
在hdfs-site.xml当中修改以下配置属性，即可更改文件的副本数

<property>
      <name>dfs.replication</name>
      <value>3</value>
</property>
Hadoop副本节点选择
  • 第一份数据来源于客户端
  • 第二份存放的位置是与第一个副本在相同机架上，且不在同一个节点，按照一定的规则（cpu 内存 IO是用率，和硬 盘剩余容量）找到一个节点存放
  • 第三个副本的存放位置是与第一第二份数据副本不在同一个机架上，且逻辑与存放副本1和2的机架距离最近的机上 按照一定的规则（cpu 内存 IO是用率，和硬盘剩余容量）找到一个节点进行存放
    在这里插入图片描述
名字空间（NameSpace）
  • HDFS 支持传统的层次型文件组织结构。用户或者应用程序可以创建目录，然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似：用户可以创建、删除、移动或重命名文件。
  • Namenode 负责维护文件系统的名字空间，任何对文件系统名字空间或属性的修改都将被Namenode 记录下来。
  • HDFS 会给客户端提供一个统一的目录树，客户端通过路径来访问文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data
    在这里插入图片描述
Namenode 功能

我们把目录结构及文件分块位置信息叫做元数据。Namenode 负责维护整个hdfs文件系统的目录树结构，以及每一个文件所对应的 block 块信息（block 的id，及所在的datanode 服务器）
在这里插入图片描述

  • Namenode节点负责确定指定的文件块到具体的Datanode结点的映射关系。在客户端与数据节点之间共享数据
    在这里插入图片描述
  • 管理Datanode结点的状态报告，包括Datanode结点的健康状态报告和其所在结点上数据块状态报告，以便能够及时处理失效的数据结点
    在这里插入图片描述
    总结
  • Namenode作用
    1、维护 管理文件系统的名字空间(元数据信息)
    2、负责确定指定的文件块到具体的Datanode结点的映射关系。
    3、维护管理 DataNode上报的心跳信息
Datanode功能

文件的各个 block 的具体存储管理由 datanode 节点承担。每一个 block 都可以在多个datanode 上。Datanode 需要定时向 Namenode 汇报自己持有的 block信息。 存储多个副本（副本数量也可以通过参数设置 dfs.replication，默认是 3）
在这里插入图片描述

  • 向Namenode结点报告状态。每个Datanode结点会周期性地向Namenode发送心跳信号和文件块状态报告。
  • 心跳是每3秒一次，心跳返回结果带有namenode给该datanode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个datanode的心跳，则认为该节点不可用。
  • DataNode启动后向namenode注册，通过后，周期性（1小时）的向namenode上报所有的块信息
    在这里插入图片描述
    执行数据的流水线复制。当文件系统客户端从Namenode服务器进程获取到要进行复制的数据块列表后，完成文件块及其块副本的流水线复制。
    一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳
    在这里插入图片描述
    总结
  • DataNode作用
    1、执行数据的读写（响应的是客户端）
    2、周期性向NameNode做汇报（数据块的信息、校验和）
    若datanode 10分钟没有向NameNode做汇报，表示已丢失（已宕机） 心跳周期 3秒
    3、执行流水线的复制（一点一点复制）
机架感知

机架感知需要人为进行配置，编写Python脚本“RackAware.py”。内容为服务器IP与交换机的对应关系。（开源hadoop,使用RackAware.sh）

#!/usr/bin/python  
#-*-coding:UTF-8 -*-  
import sys  
  
rack = {  

        "12.12.3.1":"SW6300-1",  
        "12.12.3.2":"SW6300-1",  
        "12.12.3.3":"SW6300-1",  
  
        "12.12.3.25":"SW6300-2",  
        "12.12.3.26":"SW6300-2",  
        "12.12.3.27":"SW6300-2",  
 
        "12.12.3.49":"SW6300-3",  
        "12.12.3.50":"SW6300-3",  
        "12.12.3.51":"SW6300-3",  
     
        "12.12.3.73":"SW6300-4",  
        "12.12.3.74":"SW6300-4",  
        "12.12.3.75":"SW6300-4",  
		}  
if __name__=="__main__":  
    print "/" + rack.get(sys.argv[1],"SW6300-1-2")

使用以下命令验证

[root@node01 sbin]# python RackAware.py 12.12.3.1
/SW6300-1 
[root@node01 sbin]# python RackAware.py 12.12.3.25
/SW6300-2
[root@node01 sbin]# python RackAware.py 12.12.3.75
/SW6300-4
[root@node01 sbin]# python RackAware.py 12.12.3.100
/SW6300-1-2

编辑core-site.xml配置文件，将脚本配置为topology.script.file.name的值

<property>
<name>topology.script.file.name</name>
<value>/home/bigdata/apps/hadoop/etc/hadoop/RackAware.py </value>
</property>

RPC 指的是 远程过程调用。是集群中多个组件、多个模块进行数据通信的一 种方式

2、HDFS文件读写流程

HDFS读写适用场景
一次写入，多次读出的场景。支持数据在文件尾追加。不支持在文件中间追加或修改。

HDFS-文件写入流程(重点)

在这里插入图片描述 详细步骤解析：

  • 1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传；
  • 2、 client请求第一个block该传输到哪些DataNode服务器上；
  • 3、 NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的DataNode的地址如：A，B，C；
  • 4、 client请求3台DataNode中的一台A上传数据（本质上是一个RPC调用，建立pipeline），A收到请求会继续调用B，然后B调用C，将整个pipeline建立完成，后逐级返回client；
  • 5、 client开始往A上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位（默认64K），A收到一个packet就会传给B，B传给C；A每传一个packet会放入一个应答队列等待应答。
  • 6、 数据被分割成一个个packet数据包在pipeline上依次传输，在pipeline反方向上，逐个发送ack（命令正确应答），最终由pipeline中第一个DataNode节点A将pipelineack发送给client;
  • 7、关闭写入流。
  • 8、 当一个block传输完成之后，client再次请求NameNode上传第二个block到服务器。
HDFS-文件读取流程(重点)

在这里插入图片描述
详细步骤解析

  • 1、客户端通过调用FileSystem对象的open()来读取希望打开的文件。
  • 2、 Client向NameNode发起RPC请求，来确定请求文件block所在的位置；
  • 3、 NameNode会视情况返回文件的部分或者全部block列表，对于每个block，NameNode 都会返回含有该 block 副本的 DataNode 地址； 这些返回的 DN 地址，会按照集群拓扑结构得出 DataNode 与客户端的距离，然后进行排序，排序两个规则：网络拓扑结构中距离 Client 近的排靠前；心跳机制中超时汇报的 DN 状态为 STALE，这样的排靠后；
  • 4、 Client 选取排序靠前的 DataNode 来读取 block，如果客户端本身就是DataNode,那么将从本地直接获取数据(短路读取特性)；
  • 5、 底层上本质是建立 Socket Stream（FSDataInputStream），重复的调用父类 DataInputStream 的 read 方法，直到这个块上的数据读取完毕；
  • 6、并行读取，若失败重新读取
  • 7、 当读完列表的 block 后，若文件读取还没有结束，客户端会继续向NameNode 获取下一批的 block 列表；
  • 8、返回后续block列表
  • 9、 最终关闭读流，并将读取来所有的 block 会合并成一个完整的最终文件。
    说明：
    1、读取完一个 block 都会进行 checksum 验证，如果读取 DataNode 时出现错误，客户端会通知 NameNode，然后再从下一个拥有该 block 副本的DataNode 继续读。
    2、read 方法是并行的读取 block 信息，不是一块一块的读取；NameNode 只是返回Client请求包含块的DataNode地址，并不是返回请求块的数据；
数据完整性
  • 1）当DataNode读取block的时候，它会计算checksum
  • 2）如果计算后的checksum，与block创建时（第一次上传是会计算checksum值）值不一样，说明block已经损坏。
  • 3）client读取其他DataNode上的block.
  • 4）datanode在其文件创建后周期验证checksum
    在这里插入图片描述
    总结
  • 数据在写入之后进行校验和的计算，DataNode周期性进行校验和计算，将计算结果与第一次的结果进行对比。
  • 若相同表示无数据丢失，若不相同表示数据有丢失，丢失进行数据恢复。
  • 数据读取之前对数据进行校验，与第一次的结果进行对比。
    若相同表示数据没有丢失，可以读取。若不相同表示数据 有所丢失。到其他副本读取
掉线时限参数设置
  • datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为：
  • timeout = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval。
    而默认的dfs.namenode.heartbeat.recheck-interval 大小为5分钟，dfs.heartbeat.interval默认为3秒。
  • 需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒
<property>
    <name>dfs.namenode.heartbeat.recheck-interval</name>
    <value>300000</value>
</property>
<property>
    <name> dfs.heartbeat.interval </name>
    <value>3</value>
</property>
DataNode的目录结构

和namenode不同的是，datanode的存储目录是初始阶段自动创建的，不需要额外格式化。在/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas/current这个目录下查看版本号

[root@node01 current]# cat VERSION 
#Thu Mar 14 07:58:46 CST 2019
storageID=DS-47bcc6d5-c9b7-4c88-9cc8-6154b8a2bf39
clusterID=CID-dac2e9fa-65d2-4963-a7b5-bb4d0280d3f4
cTime=0
datanodeUuid=c44514a0-9ed6-4642-b3a8-5af79f03d7a4
storageType=DATA_NODE
layoutVersion=-56

具体解释
（1）storageID：存储id号
（2）clusterID集群id，全局唯一
（3）cTime属性标记了datanode存储系统的创建时间，对于刚刚格式化的存储系统，这个属性为0；但是在文件系统升级之后，该值会更新到新的时间戳。
（4）datanodeUuid：datanode的唯一识别码
（5）storageType：存储类型
（6）layoutVersion是一个负整数。通常只有HDFS增加新特性时才会更新这个版本号。

目录结构
在这里插入图片描述
这个例子中“test.txt”有两个数据块
在这里插入图片描述
第一个块“Block0”, 块大小134217728（128M）,块ID：1073741853,块池ID：BP-866966434-192.168.100.129-1560531186882,存储在节点node01,node03上
在这里插入图片描述
第二个块“Block0”, 块大小49671168(47.3M) ,块ID: 1073741854,块池ID：BP-866966434-192.168.100.129-1560531186882,存储在节点node01,node03上。
进入node01或node03节点的DataNode存储数据的目录，进入到块池的ID目录
/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas/current/BP-866966434-192.168.100.129-1560531186882
在这里插入图片描述
进入到blk的目录找到块的ID
在这里插入图片描述
一次写入，多次读出
HDFS 是设计成适应一次写入，多次读出的场景，且不支持文件的修改。
正因为如此，HDFS 适合用来做大数据分析的底层存储服务，并不适合用来做.网盘等应用，因为，修改不方便，延迟大，网络开销大，成本太高

BigMoM1573
关注
专栏目录
大数据Hadoop（七）：HDFS分布式文件系统简介
Lansonli（蓝深李）的博客
05-24 1973
目录 HDFS分布式文件系统简介 一、HDFS概述 二、HDFS发展历史 三、HDFS设计目标 四、HDFS应用场景 适合的应用场景 不适合的应用场景 五、HDFS的架构 六、HDFS的副本机制 HDFS文件副本机制 HDFS副本放置策略（机架感知） HDFS分布式文件系统简介 一、HDFS概述 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。 ​ HDFS（Hadoop Distributed Fil..
Big Data>HDFS讲义（2）
qq_44509920的博客
11-05 367
文章目录3、HDFS的shell命令操作HDFS的特性HDFS缺点4、hdfs的高级使用命令HDFS文件限额配置数量限额空间大小限额HDFS安全模式HDFS的文件权限验证 3、HDFS的shell命令操作 1）基本语法 具体命令 bin/hdfs dfs [root@node01 Hadoop-2.6.0-cdh5.14.0]# bin/hdfs dfs 2）参数大全 Usage: Hadoop...
HDFS高可靠性分布式存储系统解决方案
lavimer
07-20 3002
引言 随着Web2．0的发展．信息量呈爆炸性增长．数据存储逐渐成为制约企业发展的关键问题。越来越多的企业开始将数据存储分离出来作为独立的项目进行管理。高可靠性、高通用性、高扩展性、大容量．云存储以传统数据中心无法比拟的优势特性．正在成为企业实现提高效率、降低成本的重要选择。HDFS是当前应用最广泛的云存储技术之一．本文详细分析HDFS云存储技术的可靠性
BIG DATA 神奇的大数据 - HDFS分布式文件系统
夜风中的男孩
08-18 418
目录 自说 学习路径 基本概念 用途 结构 使用 自说 HDFS在Hadoop起到重要作用，解决了大规模的数据存储及管理问题，呢么有如此庞大的数据，hdfs是如何准确的做到数据的保存与不流失性，又是通过什么方式去存储管理的，在整个集群中扮演了呢种角色，它又用之何处，往下看，这些问题都将会有一个你心里的答案。 学习路径 BIG DATA 神奇的大数据 - hadoop简章 BIG DATA 神奇的大数据 - Hadoop（Linux）环境搭建与部署 基本概念 HDFS是分布式文件系统
HDFS 分布式文件系统
lixufei12138的博客
12-24 613
# HDFS 分布式文件系统 一：HDFS体系结构详解： 1：什么是文件系统： 文件系统是操作系统提供的，用于解决“如何在磁盘上组织文件”的一系列方法和数据结构。用户不用关心文件具体在磁盘上是如何存放的，只需要能够熟练掌握类似于指定文件的存储路径，往哪个路径下的文件写数据，从哪个路径下读取文件数据等基本的文件系统操作就可以了。 2：什么是分布式文件系统： 当文件比较大时，即文件中的数据存储所需空间...
Hadoop - 03 - HDFS分布式文件系统
Simba_cheng的博客
09-18 1080
目录 HDFS的概念 数据块 NameNode和DataNode NameNode(Master) Client客户端 DataNode(Slave) HA：HDFS的可靠性 HDFS HA原因分析 现有HDFS HA 解决方案 文件数据和元数据 元数据 文件数据 HDFS Java API 数据流 文件读取 文件写入  HDFS是Hadoop生态中的一个产品、组...
Big Data Tools插件(详细讲解安装，连接，包教包会！！！)_bigdatatools
2401_84166327的博客
04-21 664
​ 最近有很多朋友都开始转行大数据竞赛了，大部分都是刚刚入门之类的，我自己是有一些基础的，玩过一段时间，最近很多好友学弟，都问过一个问题就是有没有什么类似于远程控制，或者图形化控制HDFS的插件或者软件啥的，我就想起来有一个插件叫Big Data Tools，之前我学的时候几乎一直都是使用这个插件，巨巨巨好用，就想到出一片文章来为大家讲解一下这个工具，让大家又减少弯路，那就废话不多说了，接下来就是正文了。
如何在IDEA编译器中连接HDFS，运行MapReduce程序(1)
FZBH_Q的博客
04-20 637
总而言之，成功是留给准备好的人的。无论是参加什么面试，都要做好充足的准备，注意好面试的礼仪和穿着，向面试官表现出自己的热忱与真诚就好。即使最后没有过关，也要做好经验的总结，为下一次面试做好充足准备。这里我为大家准备了一些我在面试后整理的面试专题资料，除了面试题，还总结出了互联网公司Android程序员面试涉及到的绝大部分面试题及答案，并整理做成了文档，以及系统的进阶学习视频资料分享给大家，希望能帮助到你面试前的复习，且找到一个好的工作，也节省大家在网上搜索资料的时间来学习。
nutn_bigdata:Nunn Bigdata课程的回购
03-21
【标题】"nutn_bigdata:Nunn Bigdata课程的回购" 涉及的主要知识点是大数据处理技术，可能包括Hadoop、Spark等分布式计算框架，以及数据处理与分析的工具和环境，如Jupyter Notebook。 【描述】"nutn_bigdata:Nunn ...
HCIA bigdata H13-711 所有题目和考试模拟软件.zip
09-27
"免费：H13-711 HCNA-Big Data 大数据.zip"文件包含了华为HCIA-Big Data认证的复习资料，可能包括讲义、笔记、课件等，这些都是备考的重要资源。考生应仔细研读，结合模拟考试软件进行系统学习。 总结来说，HCIA-...
大数据 HDFS(分布式文件系统)简单介绍
ITLV007的博客
06-10 1020
大数据简单入门 大数据时代 最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“ 数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。 人们对于 海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余 浪潮的到来。 ” “大数据”在物理学、生物学、环境生态学等领域以及军事、 金融、通讯等行业存在已有时日，却因为近年...
大型网站应用之海量数据和高并发解决方案总结一二
热门推荐
徐刘根的博客
11-19 9万+
一、网站应用背景开发一个网站的应用程序，当用户规模比较小的时候，使用简单的：一台应用服务器+一台数据库服务器+一台文件服务器，这样的话完全可以解决一部分问题，也可以通过堆硬件的方式来提高网站应用的访问性能，当然，也要考虑成本的问题。当问题的规模在经济条件下通过堆硬件的方式解决不了的时候，我们应该通过其他的思路去解决问题，互联网发展至今，已经提供了很多成熟的解决方案，但并不是都具有适用性，你把淘宝的技
bigdata之HDFS
JasonZhangOO的博客
10-01 778
学习本篇博客需要有hadoop的基础，可以先看我的上一篇博客简单介绍hadoop，http://blog.csdn.net/jasonzhangoo/article/details/52718729 分布式文件系统即HDFS，在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类，一类叫“主节点”(Master Node)或者也被称为“名称结点”(NameNode)，另一类叫“从
后端分布式系列：分布式存储－HDFS 架构解析
iteye_2022的博客
08-21 424
本文以 Hadoop 提供的分布式文件系统（HDFS）为例来进一步展开解析分布式存储服务架构设计的要点。 架构目标 任何一种软件框架或服务都是为了解决特定问题而产生的。还记得我们在 《分布式存储 - 概述》一文中描述的几个关注方面么？分布式文件系统属于分布式存储中的一种面向文件的数据模型，它需要解决单机文件系统面临的容量扩展和容错问题。 所以 HDFS 的架构设计目标就呼之欲出了： ...
大数据技术原理与应用（三）：分布式文件系统HDFS
hxxjxw的博客
06-01 1304
HDFS——Hadoop Distributed File System，Hadoop分布式文件系统 为了解决海量数据的分布式存储问题 主节点承担起数据目录（元数据）服务 从节点具体完成数据的存储任务 HDFS设计目标 ①兼容廉价的硬件设备 ②能实现流数据读写 这是HDFS和其他分布式文件系统和传统的文件系统有很大区别的一个地方。传统的文件系统在进行数据读写的时候...
大规模分布式系统问题集及解决方案
weixin_30580943的博客
01-26 229
转自：http://www.cnblogs.com/zhenjing/archive/2011/07/30/distribute_system.html 单点一致性更新问题 问题描述：当多个用户同时更新某个数据时，如何保证最终数据的一致性。如用户A,B更新数据D，A->D+1, B->D+1，最终结果D+2。 解决方案：采用数据版本保证所有的更新都基于最新版本的数...
Hadoop教程（一）：简介、大数据解决方案、介绍快速入门
GarfieldEr007的专栏
12-11 7726
Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。 “90％的世界数据在过去的几年中产生”。 由于新技术，设备和类似的社交网站通信装置的出现，人类产生的数据量每年都在迅速增长。美国从一开始的时候到2003年产生的数据量为5十亿千兆字节。如果以堆放的数据磁盘的形式，它可以
Hadoop：大数据解决方案的常胜将军
Enweitech Software Works
11-21 1350
架构大数据解决方案的软件工程师们都知道，业务分析有一项技术跨越了SQL数据库、NoSQL数据库，非结构化数据、面向文档数据存储及大型处理。如果你猜到了Hadoop，那你回答正确。Hadoop也是许多巨头公司具有的一个共性，如亚马逊、雅虎、AOL、Netflix、eBay、微软、谷歌、Twitter和Facebook。IBM甚至是走在时常的前沿，促进Hadoop进行企业分析。此开源模型无处不在，它在
把bigdata1上传到HDFS的/hdfs1上，把bigdata2上传到HDFS的/hdfs2上
最新发布
09-20
3. **上传bigdata1**: 对于bigdata1，你可以使用`hadoop fs -put`命令将其复制到HDFS的/hdfs1目录下: ``` hadoop fs -put bigdata1 hdfs://localhost:9000/hdfs1/ ``` 或者如果是在分布式环境下，替换`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值