![](https://img-blog.csdnimg.cn/20200618144022659.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
HDFS分布式存储文件系统
分布式文件系统
胡子球手
谦虚请教
展开
-
HDFS中javaAPI创建文件写入内容报错:INFO hdfs.DFSClient: Exception in createBlockOutputStream
19/11/11 20:33:26 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.net.ConnectException: Connection refused: no further information at sun.nio.ch.SocketChannelImpl.checkConnect(Na...原创 2019-11-11 20:47:08 · 3598 阅读 · 0 评论 -
Hadoop中新增节点
随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。 准备工作: 1.配置JDK 2.配置SSH免密钥 3.关闭防火墙 4.关闭selinux 5.修改主机名 6.修改hosts 注释:新增节点叫node04,namenode是node01 准备新节点 第一步:复制一台新的虚拟机出来 将我们纯净的虚拟机复制一台出来,作为我们...原创 2019-11-11 08:59:38 · 2691 阅读 · 1 评论 -
Hadoop中的HDFS学习总结
博主自己学习hdfs的一些笔记,整理了一下(有什么不懂的可以问我。尽量解答,希望对大家有帮助) Hadoop组成 Hadoop HDFS:一个高可靠、高吞吐量的分布式文件系统,对海量数据的存储。 Hadoop MapReduce:一个分布式的资源调度和离线并行计算框架。 Hadoop Yarn:基于HDFS,用于作业调度和集群资源管理的框架。 Hadoop Common:Hadoop工具包...原创 2019-11-10 16:55:16 · 3683 阅读 · 0 评论 -
SecondaryNameNode工作原理
前提:未使用secondarynameNode时,NameNode工作中会产生fsimage 和edtes,edits日志过大,直接导致集群二次开机恢复原本状态过慢,引起开机时间过长。 作用:加快集群二次启动的速度(减小集群二次启动的时间) 定期合并edits和fsImage(如果没有配置SecondaryNameNode由NameNode自己完成) 防止edits日志文件过...原创 2019-11-05 21:06:44 · 2699 阅读 · 1 评论 -
HDFS读取和写入数据过程的原理
文件的写入过程 这里的FSDatainputStream改成outputstream 第一步:客户client 发送文件上传的请求给NameNode,NameNode去检查目标文件是否存在,父目录是否存在,返回是否上传 第二步:接受指令 , 给NameNode发送Block1可以传输到datanode的那些服务器上 第三步:NameNode根据当前配置和机架感知原理来进行分配,如返回d...原创 2019-11-04 20:37:42 · 2921 阅读 · 0 评论