![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop之HDFS
Hxm6440
这个作者很懒,什么都没留下…
展开
-
压缩,解压参数:tar,zip,unzip,gzip, bzip2
tar命令做打包操作当 tar 命令用于打包操作时,该命令的基本格式为:tar [选项] 源文件或目录tar 打包命令常用选项及含义选项含义-c将多个文件或目录进行打包。-A追加 tar 文件到归档文件。-f 包名指定包的文件名。包的扩展名是用来给管理员识别格式的,所以一定要正确指定扩展名;-v显示打包文件过程;需要注意的是,在使用 tar...原创 2019-11-20 15:18:29 · 478 阅读 · 0 评论 -
HDFS的shell命令操作
-help :输出这个命令参数bin/hdfs dfs -help rm-ls :显示目录信息hdfs dfs -ls /-mkdir :在hdfs上创建目录hdfs dfs -mkdir -p /aaa-moveFromLocal :从本地剪切粘贴到hdfshdsf dfs -moveFromLcal 本地路径 hdfs路径hdfs dfs -moveFr...原创 2019-11-05 14:51:29 · 221 阅读 · 0 评论 -
HDFS文件读写流程
文章目录文件写入过程文件读取过程数据完整性掉线时限参数设置DateNode的目录结构一次写入,多次读出文件写入过程详细步骤解析:1、 client发起文件上传请求,通过RPC与NameNode建立通讯,NameNode检查目标文件是否已存在,父目录是否存在,返回是否可以上传;2、 client请求第一个block该传输到哪些DataNode服务器上;3、 NameNode根据配置文件中指...原创 2019-11-05 09:46:19 · 172 阅读 · 0 评论 -
namenode出现故障后,如何恢复??
secondaryNamenode对namenode当中的fsimage和edits进行合并时,每次都会先将namenode的fsimage与edits文件拷贝一份过来,所以fsimage与edits文件在secondarNamendoe当中也会保存有一份,如果namenode的fsimage与edits文件损坏,那么我们可以将secondaryNamenode当中的fsimage与edits拷贝...原创 2019-11-12 10:36:30 · 543 阅读 · 0 评论 -
fsimage和edits详解
namenode元数据解析第一次启动namenode格式化后,创建fsimage和edits文件。如果不是第一次启动,直接加载edits和fsimage文件到内存客户端对元数据进行增删改的请求namenode记录操作日志,更新滚动日志namenode在内存中对数据进行增删改查fsimage保存了最新的元数据检查点,在HDFS启动时加载fsimage的信息,包含了整个HDFS文件系...原创 2019-11-08 20:59:24 · 726 阅读 · 0 评论 -
HDFS服役新数据节点与退役旧数据节点
文章目录为什么要让新数据节点服役于原有的集群?准备新的节点修改mac地址以及IP地址关闭防火墙,开机不自启关闭selinuxssh免密码登录修改主机名设置主机名和IP的对应关系安装jdk安装Hadoop为什么要让新数据节点服役于原有的集群?随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。准备新的节点修改mac地址...原创 2019-11-07 20:11:33 · 579 阅读 · 2 评论 -
HDFS的安全模式
什么是HDFS安全模式安全模式是HDFS所处的一种特殊状态,在这种状态下,文件系统只接受读数据请求,而不接受删除,修改等变更请求。HDFS什么时候进入安全模式:在NameNode主节点启动时,HDFS首先进入安全模式在安全模式下做了什么:DataNode在启动的时候会向namenode汇报可用的block等状态查看hdfs在什么模式 hdfs dfsadmin -safemode ge...原创 2019-11-05 20:33:46 · 175 阅读 · 1 评论 -
HDFS文件限额配置
什么是HDFS文件限额配置hdfs文件的限额配置允许我们以文件大小或者文件个数来限制某个目录上传文件数量或者文件内容总量,以便达到我们类似百度网盘等限制每个用户允许上传的最大的文件的量。准备一个文件夹hdfs dfs -mkdir -p /user/root/lisi #创建hdfs文件夹先来个数量限额hdfs dfsadmin -setQuota 2 lisi #给该文件夹下面设...原创 2019-11-05 20:31:51 · 389 阅读 · 1 评论 -
HDFS的文件权限验证
文章目录HDFS文件限额配置hdfs的安全模式hdfs的文件权限验证HDFS文件限额配置hdfs文件的限额配置允许我们以文件大小或者文件个数来限制某个目录上传文件数量或者文件内容总量,以便达到我们类似百度网盘等限制每个用户允许上传的最大的文件的量。数量限额hdfs dfs -mkdir -p /user/root/lisi #创建hdfs文件夹hdfs dfsadmin -setQuo...原创 2019-11-05 16:16:11 · 131 阅读 · 0 评论 -
HDFS基本介绍
HDFS基本介绍HDFS 是 Hadoop Distrbute File System 的简称,意为:Hadoop 分布式文件系统。是Hadoop核心组件之一,作为最底层的分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景,它们为存储和处理超大规模数据提供所需的扩展能力。HDFS使用Master和S...原创 2019-11-05 14:25:41 · 607 阅读 · 0 评论 -
HDFS的特性和缺点
文章目录HDFS的特性HDFS的缺点HDFS的特性海量数据存储 :HDFS 可横向扩展,其存储文件可以支持PB级别数据高容错性 :节点丢失,系统依然可用,数据保存多个副本,副本丢失后自动恢复。可建构在廉价(与小型机大型机比)的机器上,实现线性扩展(随着节点数量的增加,集群的存储能力增加)大文件存储 :DFS采用数据块的方式存储数据,将一个大文件切分成多个小文件,分布存储HDFS的缺点...原创 2019-11-05 15:18:23 · 332 阅读 · 0 评论