HDFS
学习·笔记
一个专属于自己的隐秘地方,在那里我们可以远离压力与忧虑,可以放松自我
展开
-
HDFS新增节点与删除节点
1、准备新的节点第一步:复制一台新的虚拟机出来第二步:修改mac地址以及IP地址修改mac地址命令vim /etc/udev/rules.d/70-persistent-net.rules修改ip地址命令vim /etc/sysconfig/network-scripts/ifcfg-eth0第三步:关闭防火墙,关闭selinux关闭防火墙service iptables s...原创 2019-11-07 20:12:22 · 6808 阅读 · 1 评论 -
Linux中HDFS特性和缺点
HDFS特性1.海量数据储存:hdfs可以横向扩展,储存的文件可以支持pb级别的数据2.高容错性:节点丢失,系统依然可用,数据保存多个副本,副本丢失后自动恢复可构建在廉价(与大小型机比)的机器上,实现线性扩展(随着节点的增加,集群的储存能力,计算能力随之增加)3.大文件存储:dfs采用数据块的方式存储数据,将一个大文件拆分为小文件,分布储存HDFS缺点1.不能做到低延迟数据访问...原创 2019-11-07 18:08:23 · 6307 阅读 · 1 评论 -
HDFS的命令操作
1)基本语法bin/hdfs dfs 具体命令2)常用命令实操(1)-help:输出这个命令参数 bin/hdfs dfs -help rm(2)-ls: 显示目录信息 hdfs dfs -ls /(3)-mkdir:在hdfs上创建目录 hdfs dfs -mkdir -p /aaa...原创 2019-11-05 19:44:34 · 6615 阅读 · 1 评论 -
HDFS数据写入,读取,数据完整计算流程
HDFS数据写入流程client发起文件上传请求,通过RPC与NameNode建立通讯,NameNode检查目标文件是否已存在,父目录是否存在,返回是否可以上传; client请求第一个block该传输到哪些DataNode服务器上; NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配,返回可用的DataNode的地址如:A,B,C;client请求3台Dat...原创 2019-11-05 18:02:07 · 6405 阅读 · 1 评论