![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
【Hadoop】
潇山远
这个作者很懒,什么都没留下…
展开
-
【学习笔记】Hadoop之HDFS架构、SecondaryNameNode、副本放置策略
1. HDFS架构HDFS是主从架构,一个NameNode作为主节点,维护管理文件系统的元数据信息,N个DataNode作为从节点,存储实际的数据块。【图片后续补】1.1 NameNode(简称NN)维护管理文件系统的元数据信息文件目录结构文件名称文件属性(权限,创建时间,副本数…)文件对应的块(副本)与DataNode的映射关系这个映射关系,不会持久化存储,而是在集群启动和运...原创 2019-07-09 09:22:44 · 215 阅读 · 0 评论 -
【学习笔记】Hadoop之HDFS Block损坏恢复最佳实践(含思考题)
转载自https://mp.weixin.qq.com/s/85GCQS5cumPyu6dSOOvIpA一.文件ruozedata.md上传:-bash-4.2$ hdfs dfs -mkdir /blockrecover-bash-4.2$ echo "www.ruozedata.com" > ruozedata.md-bash-4.2$ hdfs dfs -put...转载 2019-07-09 09:42:52 · 1132 阅读 · 0 评论 -
【学习笔记】Hadoop之HDFS读写流程
HDFS读流程读取HDFS文件命令$ hdfs dfs -cat /examples/output1/XXX$ hdfs dfs -text /examples/output1/XXX读流程Client调用FileSystem.open(filePath)方法与NameNode通过【RPC】协议通信,检查用户是否有权限访问,文件是否存在。假如都OK,返回该文件的部分或者全部的...原创 2019-07-10 10:09:29 · 167 阅读 · 0 评论 -
【学习笔记】Hadoop之HDFS常用shell命令
1.hadoop命令$ hadoop fs run a generic filesystem user client #访问文件系统,相当于hdfs dfs version print the version jar <jar> run a jar file #运行一个jar到yarn上...原创 2019-07-11 09:55:49 · 373 阅读 · 0 评论 -
【学习笔记】Hadoop之HDFS的块大小、小文件和副本数
HDFS的块大小HDFS是以块(Block)作为基本的存储单元,默认块大小是128M。在生产上也有根据集群情况,把HDFS的块大小设置为256M的。比如一个150M的文件要存储到HDFS中,将会拆分成2个块,大小分别是128M、22M。HDFS不擅长小文件的处理 HDFS文件系统擅长于处理大文件的场景,不擅长于处理小文件的场景,这主要有两个原因: 一个是大量的小文件元数据信息的管理维...原创 2019-07-07 11:58:43 · 6715 阅读 · 2 评论