![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
HDFS的点点滴滴
进阶的橙汁糖
吃饭,睡觉,敲代码
展开
-
大数据-hdfs-NameNode元数据解析-小记
1.第一次启动namenode格式化后,创建fsimage和edits文件。如果不是第一次启动,直接加载edits和fsimage文件到内存。2.客户端对元数据进行增删改的请求3.namenode记录操作日志,更新滚动日志4.namenode在内存中对数据进行增删改查...原创 2019-11-05 16:58:30 · 199 阅读 · 0 评论 -
大数据-hdfs-NameNode元数据信息多目录配置-方法步骤
为了保证元数据的安全性,我们一般都是先确定好我们的磁盘挂载目录,将元数据的磁盘做RAID1namenode的本地目录可以配置成多个,且每个目录存放内容相同,增加了可靠性。进入:hdfs-site.xmldfs.namenode.name.dir/export/servers/Hadoop-2.6.0-cdh5.14.0/HadoopDatas/namenodeDatas1,/expo...原创 2019-11-05 17:53:16 · 173 阅读 · 0 评论 -
大数据-hdfs-名字空间(NameSpace)-小记
HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录,然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似:用户可以创建、删除、移动或重命名文件NameNode负责维护文件系统的名字空间,任何对文件系统名字空间或属性的修改都将被NameNode记录下来。HDFS会给客户端提供一个统一的目录树,客户端通过路径来访问文件,形如:hdfs://namenod...原创 2019-11-05 20:49:24 · 461 阅读 · 0 评论 -
大数据-hdfs-NameNode功能-小记
我们把目录结构及文件分块位置信息叫做元数据。1.NameNode负责维护整个hdfs文件系统的目录树结构,以及每一个文件所对应的block块信息(block的id,及所在的DataNode服务器)2.NameNode节点负责确定指定的文件块到具体的DataNode节点的映射关系,在客户端与数据节点之间共享数据3.管理DataNode节点的状态报告,包括DataNode节点的健康状态报告和其所...原创 2019-11-05 20:55:14 · 2389 阅读 · 0 评论 -
大数据-hdfs-DataNode功能-小记
文件的各个block的具体存储管理由DataNode节点承担。每一个block都可以在多个DataNode上。 DataNode需要定时想namenode汇报自己持有的block信息。存储多个副本(副本数量也可以通过参数设置dfs.replication,默认是3)1.向NameNode节点报告状态,每个DataNode节点会周期性地向NameNode发送心跳信号和文件块状态报告心跳是每3秒一...原创 2019-11-05 21:07:50 · 711 阅读 · 0 评论 -
大数据-hdfs-掉线时限的参数设置-详解
DataNode进程死亡或者网络故障造成DataNode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout,则超时时长的计算公式为:timeout = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs...原创 2019-11-06 15:13:35 · 286 阅读 · 0 评论 -
大数据-hdfs-一次写入,多次读出-浅谈
HDFS是设计成适应一次写入,多次读出的场景,且不支持文件的修改。正因为如此,HDFS适合用来做大数据分析的底层存储服务,并不适合用来做.网盘等应用,因为,修改不方便,延迟大,网络开销大,成本太高。...原创 2019-11-06 15:20:42 · 3395 阅读 · 0 评论 -
大数据-hdfs-开启集群,在主节点输入jps后发现没有NameNode-bug总结
当遇到这种情况时先关闭集群进入到下面路径中cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hadoop文件夹中有一个xml文件:hdfs-site.xml进入hdfs-site.xml文件查看NameNode的FSimage和edits中是否还有数据如果没有,把SecondaryNameNode的FSimage中的数据拷...原创 2019-11-06 21:28:56 · 3303 阅读 · 0 评论 -
大数据-hdfs-FSimage和edits的作用-小记
FSimage:存储系统最近一次关机前的集群镜像edits:客户端对HDFS文件系统的所有操作日志恢复集群到上一次关机前的状态原创 2019-11-09 10:10:21 · 368 阅读 · 0 评论 -
大数据-hdfs-SecondaryNamenode存在的意义-小记
1.进行FSimage和edits的合并操作,减小edits日志大小,加快集群二次启动速度2.备份FSimage和edits,防止数据丢失原创 2019-11-09 11:18:53 · 114 阅读 · 0 评论 -
大数据-hdfs-何时用到FSimage和edits-小记
1.在集群二次启动时,会用到FSimage和edits进行合并,进行元数据的恢复2.SecondaryNameNode周期性的拉取FSimage和edits进行合并生成新的FSimage原创 2019-11-09 11:21:55 · 201 阅读 · 0 评论 -
大数据-hdfs-SecondaryNamenode工作的触发因素-小记
1.时间维度:默认一小时触发一次2.次数维度:默认客户端对HDFS的操作达到100万次触发一次一分钟判断一次是否达到100万次操作原创 2019-11-09 11:25:41 · 111 阅读 · 0 评论 -
大数据-hdfs-HDFS集群扩容新节点前的准备-方法步骤
1.关闭防火墙2.关闭selinux3.修改主机名4.修改hosts(别名/节点IP与主机名的映射关系)5.配置ssh免秘钥6.配置jdk原创 2019-11-09 11:30:09 · 343 阅读 · 0 评论 -
大数据-hdfs-HDFS集群添加新节点-方法步骤
1.在配置文件目录添加dfs.hosts白名单文件,文件中加入包括新增节点在内的所有节点2.在hdfs-site.xml文件中配置白名单文件生效<property><name>dfs.hosts</name><value>/export/install/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts&l...原创 2019-11-09 11:34:15 · 663 阅读 · 0 评论 -
大数据-hdfs-合并小文件的两种方式-小记
两种方式:1.从HDFS中合并文件到本地执行命令:hdfs dfs -getmerge 小文件目录 下载的目录2.从本地合并到HDFS遍历所有的已有小文件追加到一个文件中,再上传(文件不再HDFS)...原创 2019-11-09 11:36:37 · 442 阅读 · 0 评论 -
大数据-hdfs-设置开启权限控制的key是什么-小记
dfs.permissions原创 2019-11-09 11:38:00 · 208 阅读 · 0 评论 -
大数据-hdfs-退役数据旧节点-方法步骤
步骤:第一步:创建dfs.hosts.exclude配置文件(黑名单)在namenod的cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts.exclude文件,并添加需要退役的主机名称主节点执行以下命令:cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop...原创 2019-11-12 22:20:12 · 312 阅读 · 0 评论 -
大数据-hive-在HDFS上的默认存储路径-小记
/user/hive/warehouse原创 2019-12-05 09:27:32 · 3469 阅读 · 0 评论 -
大数据-hdfs-使用java API在HDFS创建目录-方法步骤
1.实例化configurationConfiguration configuration = new Configuration();2.实例化文件系统FileSystemFileSystem fileSystem = FileSystem.get(new URI(“hdfs://主节点IP:8082”),configuration);3.使用文件系统对象调用mkdir(相应的API操作...原创 2019-11-09 11:41:54 · 3070 阅读 · 2 评论 -
大数据-hdfs-保证数据完整性的方法-详解
1.当DataNode读取block的时候,它会计算checksum(校验和)2.如果计算后的checksum与block创建时(第一次上传会计算checksum值)值不一样,说明block已经损坏3.Client读取其他DataNode上的block4.DataNode在器文件创建后周期验证checksum...原创 2019-11-06 15:01:56 · 342 阅读 · 0 评论 -
大数据-hdfs-文件读取流程-详解
详细步骤解析:1.客户端通过调用FileSystem对象的open()方法来读取希望打开的文件2.Client向NameNode发起PRC请求,来确定请求文件block所在的位置3.NameNode会视情况返回文件的部分或者全部的block列表,对于每个block,NameNode都会返回含有该block副本的DataNode地址;这些返回的DataNode地址,会按照集群拓扑地址得出Da...原创 2019-11-06 14:57:14 · 325 阅读 · 0 评论 -
大数据-hdfs-文件写入流程-详解
详细步骤解析:1.Client客户端发起文件上传请求,通过RPC与NameNode建立通讯,NameNode检查目标文件是否已经存在,父目录是否存在,然后返回是否可以上传;2.Client请求第一个block数据块该传输到哪些DataNode节点(服务器)上;3.NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配,返回可用的DataNode的地址如:A,B,C;4.C...原创 2019-11-05 21:25:08 · 459 阅读 · 0 评论 -
大数据-hdfs-基本介绍-小记
HDFS是Hadoop Distribute File System的简称,意为:Hadoop分布式文件系统,是Hadoop核心组件之一,作为最底层的分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储。他们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景,他们为存储和处理超大规模数据提供所需的扩展能力。HDFS使用Master和Slave结构对集群进行管理...原创 2019-11-05 20:03:12 · 160 阅读 · 0 评论 -
大数据-hdfs-缺点-小记
1.不能做到低延迟数据访问由于Hadoop针对高数据吞吐量做了优化,牺牲了获取数据的延迟,所以对于低延迟访问数据的业务需求不适合HDFS。2.不适合大量的小文件存储由于namenode将文件系统的元数据存储在内存中,因此该文件系统所能存储的文件总数受限于namenode的内存容量。根据经验,每个文件、目录和数据块的存储信息大约占150字节。因此,如果有一百万个小文件,每个小文件都会占一个数据...原创 2019-11-05 18:10:58 · 237 阅读 · 0 评论 -
大数据-hdfs-特性-小记
1.海量数据存储:HDFS可横向扩展,其存储的文件可以支持PB级别或更高级别的数据存储2.高容错性:数据保存多个副本,副本丢失后自动恢复。可构建在廉价的机器上,实现线性扩展(线性扩展:配置增强,性能直线增强),当集群增加新节点之后,namenode也可以感知,进行负载均衡,将数据分发和备份数据均衡到新的节点上3.商用硬件:Hadoop并不需要运行在昂贵且高可靠的硬件上。它是设计运行在商用...原创 2019-11-05 18:03:52 · 106 阅读 · 0 评论 -
大数据-hdfs-文件权限验证-小记
hdfs的文件权限机制与Linux系统的文件权限机制类似r:readw:writex:execute权限x对于文件表示忽略,对于文件夹表示是否有权限访问其内容如果Linux系统用户zhangsan使用Hadoop命令创建了一个文件,那么这个文件在HDFS当中的owner就是zhangsanHDFS文件权限的目的:防止好人做错事,而不是阻止坏人做坏事,HDFS相信你告诉他你是谁,你就是谁...原创 2019-11-05 16:47:05 · 173 阅读 · 0 评论 -
大数据-hdfs-安全模式的定义、作用-小记
什么是HDFS的安全模式:安全模式是HDFS所处的一种特殊的状态,在这种状态下,文件系统只接受读取数据的请求,不接受添加,删除,修改等请求。在NameNode主节点启动时,HDFS首先进入安全模式,DataNode在启动的时候会向NameNode汇报可用的block等状态,当整个系统达到安全标准时,HDFS自动离开安全模式。安全模式的作用:如果HDFS处于安全模式下,则文件block不能进...原创 2019-11-05 14:25:40 · 345 阅读 · 0 评论 -
大数据-hdfs-文件限额配置-小记
hdfs文件限额配置允许我们以文件大小或者文件个数来限制某个目录下上传的文件数量或者文件的内容总量数量限额hdfs dfs -mkdir -p /user/root/lisi 创建hdfs文件夹hdfs dfsadmin -setQuota 50 lisi 给该文件夹下面设置最多上传49个文件,还有一个文件是lisi自己hdfs dfsadmin -clrQuota /user/r...原创 2019-11-05 11:34:41 · 663 阅读 · 0 评论