HDFS
HDFS
kismetG
HelloWorld
展开
-
Hadoop High Availability
Hadoop High AvailabilityHAHA(High Available), 高可用,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,分为活动节点(Active)及备用节点(Standby)。通常把正在执行业务的称为活动节点,而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题,导致正在运行的业务(任务)不能正常运行时,备用节点此时就会侦测到,并立即接续活...原创 2020-03-24 10:52:39 · 4801 阅读 · 0 评论 -
HDFS(12)--HDFS的javaAPI操作
创建maven工程并导入jar包<repositories><repository><id>cloudera</id><url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>&...原创 2019-11-12 15:17:47 · 2002 阅读 · 1 评论 -
HDFS(11)--HDFS新增节点与删除节点
需求基础:随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。准备新节点第一步:复制一台新的虚拟机出来将我们纯净的虚拟机复制一台出来,作为我们新的节点第二步:修改mac地址以及IP地址修改mac地址命令vim /etc/udev/rules.d/70-persistent-net.rules修...原创 2019-11-11 20:19:52 · 2129 阅读 · 0 评论 -
HDFS(10)--namenode故障恢复
secondaryNamenode对namenode当中的fsimage和edits进行合并时,每次都会先将namenode的fsimage与edits文件拷贝一份过来,所以fsimage与edits文件在secondarNamendoe当中也会保存有一份,如果namenode的fsimage与edits文件损坏,那么我们可以将secondaryNamenode当中的fsimage与edits拷贝...原创 2019-11-11 20:11:35 · 1639 阅读 · 0 评论 -
HDFS(9)--hdfs的fsimage,edits,secondarynameNode
NameNode元数据解析(1)第一次启动namenode格式化后,创建fsimage和edits文件。如果不是第一次启动,直接加载edits和fsimage文件到内存。(2)客户端对元数据进行增删改的请求。(3)namenode记录操作日志,更新滚动日志。(4)namenode在内存中对数据进行增删改查。fsimage保存了最新的元数据检查点,在HDFS启动时加载fsim...原创 2019-11-11 08:42:22 · 1663 阅读 · 1 评论 -
HDFS(8)--hdfs的安全模式
安全模式是HDFS所处的一种特殊状态,在这种状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请求。在NameNode主节点启动时,HDFS首先进入安全模式,DataNode在启动的时候会向namenode汇报可用的block等状态,当整个系统达到安全标准时,HDFS自动离开安全模式。如果HDFS处于安全模式下,则文件block不能进行任何的副本复制操作,因此达到最小的副本数量要求是基...原创 2019-11-11 08:34:56 · 1967 阅读 · 0 评论 -
HDFS(7)--HDFS的特性
优点:1、海量数据存储: HDFS可横向扩展,其存储的文件可以支持PB级别或更高级别的数据存储。2、高容错性:数据保存多个副本,副本丢失后自动恢复。可构建在廉价的机器上,实现线性扩展。当集群增加新节点之后,namenode也可以感知,进行负载均衡,将数据分发和备份数据均衡到新的节点上。3、商用硬件:Hadoop并不需要运行在昂贵且高可靠的硬件上。它是设计运行在商用硬件(廉价商业硬件)的...原创 2019-11-11 08:27:16 · 1406 阅读 · 0 评论 -
HDFS(6)--HDFS的shell命令操作
(1)-help:输出这个命令参数bin/hdfs dfs -help rm(2)-ls:显示目录信息hdfs dfs-ls /(3)-mkdir:在hdfs上创建目录hdfs dfs-mkdir -p /aaa/bbb/cc/dd(4)-moveFromLocal从本地剪切粘贴到hdfshdfs dfs-moveFromLocal /home/Had...原创 2019-11-11 08:22:18 · 1572 阅读 · 0 评论 -
HDFS(5)--hdfs数据的完整性,掉线时限参数设置
数据的完整性 当DataNode读取block的时候,他会计算checksum 计算checksum时如发现与block创建时(第一次上传文件时会计算checksum值)不一样时,说明block已损坏 client会读取其他DataNode上checksum完整的block DataNode在其文件创建后周期验证check...原创 2019-11-08 10:30:01 · 1902 阅读 · 0 评论 -
HDFS(4) --HDFS文件读写流程(最详细!!!)
文件写入过程:详细步骤:1.client发起文件上传请求,通过rpc与namenode建立通讯,namenode检查目标文件是否存在,父目录是否存在,返回是否可以上传2.click请求第一个block该传输到那些datenode服务器上3.namenode根据配置文件将指定的备份数量以及机架感知进行文件分配,返回可用的dataname的地址4.click请求三台dat...原创 2019-11-05 17:33:01 · 3214 阅读 · 0 评论 -
HDFS(3)--名字空间(NameSpace)、机架感知
名字空间(NameSpace)HDFS 支持传统的层次型文件组织结构。用户或者应用程序可以创建目录,然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似:用户可以创建、删除、移动或重命名文件。Namenode 负责维护文件系统的名字空间,任何对文件系统名字空间或属性的修改都将被Namenode 记录下来。HDFS 会给客户端提供一个统一的目录树,客户端通过路...原创 2019-11-04 21:16:22 · 1758 阅读 · 4 评论 -
HDFS(2)--HDFS结构功能介绍
Namenode 功能1.Namenode 负责维护整个hdfs文件系统的目录树结构,以及每一个文件所对应的 block 块信息(block 的id,及所在的datanode 服务器)。2.Namenode节点负责确定指定的文件块到具体的Datanode结点的映射关系。在客户端与数据节点之间共享数据。3.管理Datanode结点的状态报告,包括Datanode结点的健康状态报告和其所在...原创 2019-11-04 21:09:24 · 1815 阅读 · 0 评论 -
HDFS(1)--HDFS基本介绍
HDFS 是Hadoop分布式文件系统。是Hadoop核心组件之一,作为最底层的分布式存储服务而存在。HDFS使用Master和Slave结构对集群进行管理,一般一个HDFS集群只有一个Namenode和一定数目的Datanode组成,Namenode 是 HDFS 集群主节点,Datanode 是 HDFS 集群从节点,两种角色各司其职,共同协调完成分布式的文件存储服务。NameNode...原创 2019-11-04 20:32:22 · 1414 阅读 · 0 评论 -
大数据篇(1)--简介
1.Hadoop的由来! Hadoop之父Doug Cutting 1.Hadoop最早起源于lucene下的Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、...原创 2019-11-01 14:53:11 · 1444 阅读 · 0 评论