hdfs
文章平均质量分 61
黑皮磊
这个作者很懒,什么都没留下…
展开
-
简单的HDFS 命令
hdfs dfs-ls 显示当前目录结构,-ls -R 递归显示目录结构 ll -a ll-h (KB)-put [localsrc] [dst] 从本地加载文件到HDFS-get [dst] [localsrc] 从HDFS导出文件到本地-cp [src] [dst] 从源目录复制文件到目标目录-text 查看文件内容-mkdir -P (层级目录) 创建目录-tail 显示文件末尾-help...原创 2022-03-17 21:47:29 · 314 阅读 · 0 评论 -
Hadoop中小文件过多的问题
问题定义HDFS上的小文件是指文件大小明显小于HDFS上块(block)大小(默认64MB)的文件。在hdfs上大量存储小文件会给hadoop的扩展性和性能带来严重问题。原因首先,在HDFS中,任何一个文件,目录或者block在NameNode节点的内存中均以一个对象表示(元数据)(Every file, directory and block in HDFS is represented as an object in the namenode’s memory),而这受到NameNode物理内存转载 2022-03-19 19:54:10 · 2023 阅读 · 0 评论 -
HDFS 主从架构 以及优缺点
NameNode SecondaryNameNode DataNodeNN 名称节点存储的内容包括1.文件名称2.文件的目录结构3.文件的属性(权限,副本数,组别,大小,创建时间等)可以用 hdfs dfs -ls 能看到的4.一个文件被对应切割哪些数据块(包括副本的块) ==》对应分布到哪些DateNode管理文件系统命名空间,其实就是维护系统树的文件和文件夹(整体架构)主要文件编辑日志文件 :edits镜像文件:fsimage路径 : /home/he原创 2022-03-20 02:57:58 · 308 阅读 · 0 评论 -
HDFS的读写流程(面试题)
HDFS的读流程RPC:远程过程调用HDFS Cilent会调用FileSystem.open(filePath)方法,与NN进行RPC通信,返回该文件的block块的列表,返回FSDataInputStream对象HDFS Client调用 FIleSystem.Read()方法,与第一个块的最近的DN进行读取,如果读取成功则进行下一个块,若不成功则去下一个DN进行读取,以此类推,等到所有的块都读取完毕。HDFS Cilent 调用 FSDatainputStream.close方法,原创 2022-03-21 15:51:10 · 156 阅读 · 0 评论