- 博客(5)
- 收藏
- 关注
RSS订阅原创 服役新数据节点
（1）、首先进行环境准备，需要克隆一台虚拟机，然后修改他的静态ip以及hostname，在namenode节点所在的主机上修改xcall和xsync文件，以及配置ssh无密登陆。删除原来hdfs文件系统的文件。（2）、在namenode主机的hadoop目录下（我的是/opt/moulder/hadoop2.7.2/etc/hadoop)创建dfs.hosts文件，并在文件中添加所有主机的hostname（3）、在namenode的hdfs-site.xml中增加dfs.hosts属性dfs.hos
2020-09-14 00:05:39
82
原创 DataNode的工作机制
（1）、一个数据块在datanode上是以文件的形式存在磁盘上，包括哦两个文件，一个用来存储数据本身，另一个用来存储数据块的元信息，包括数据块的长度，数据块的校验和以及时间戳。（2）、datanode启动时，每个datanode对本地磁盘进行扫描，并将datanode上保存的block块信息上报给namenode，namenode将block以及block所在datanode的信息保存在内存。（3）、datanode启动后会向namenode进行注册，成功后会定期（一小时）向namenode汇报所有块信
2020-09-13 00:09:15
233
原创 NameNode和SecondrayNameNode的工作机制
namenode在启动时会先滚动Edits，生成一个空的Edits.inprogress，然后加载Edits和Fsimage到内存中。客户端开始对namenode发送增删改的操作请求，这些请求会被加载到Edits.inprogress（查操作请求不会被记录到Edits中，因为查询不会改变元数据信息），但是由于Edits中记录的操作会越来越多，namenode启动加载Edits时会越来越慢，所以就需要将Edits和FSimage进行合并（将Edits和Fsimage加载到内存中，然后按照Edits中记录的操作
2020-09-11 23:37:47
176
原创 ## HDFS读写数据的流程
HDFS读写数据的流程一、HDFS写数据流程（1）、客户端向namenode请求上传文件（2）、namenode对请求进行合法检测（权限，路径是否合法，路径是否存在）（3）如果合法，namenode响应客户端允许上传（4）、客户端根据自己自己设置的block大小，切分block。客户端请求上传第一个block，并请求namenode分配datanode的地址列表（5）、namenode...
2020-09-10 23:59:47
535
原创 centos6的静态ip配置
在克隆虚拟机之后需要配置虚拟机的静态ip，首先vi /etc/udev/rules.d/70-persistent-ipoib.rules 将其中的eth0的配置删掉，复制ATTR{address}的值，将eth1配置中的eth1改为eth0。然后vi /etc/sysconfig/network-scripts/ifcfg-ens0 ，将刚刚复制过的值粘贴在HWADDR上。然后增加：GATEWAY=网关IPADDR=虚拟机的ipPREFIX=24DNS=域名然后修改etc目录下的resolve.
2020-09-10 22:40:30
390
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人