HDFS
jsx____
就要去找工作啦,筹备中~
展开
-
复本,块,机架感知与复本存放策略
HDFS的副本机制在HDFS中,所有的文件都是以block块的方式存储在HDFS文件系统中,块非常适合用于数据备份,从而提高容错能力通过配置hdfs-site.xml,可以配置副本数量,默认是3有几个datanode就可以存放几个副本副本,假如副本设置为3,只有两个DataNode,那么实际的副本就只有两个block块block块是从物理上(磁盘)上进行分块存储。与切片不同,切片知识逻辑上将数据分开,其实还是一个整体数据,只是改变了运算时的偏移量每个副本存储都是用block块,大于128M或者原创 2020-09-07 20:29:27 · 262 阅读 · 0 评论 -
分布式文件存储系统的优点和缺点
分布式文件存储系统分布式:在hdfs中由多个服务器组成,每个服务器扮演着不同的角色HDFS适用于一次写入多次读出,不支持文件修改优点1高容错性一台宕机没有什么问题,不会造成一个数据整体丢失。丢失的部分数据丢失会很快从其他节点拉取并回复。2合存储大数据量的文件数量级GB TB PB都支持件规模适合存储百万规模的数据3硬件价格低廉可以使用廉价的物理机缺点1不适合存储小文件这个面试也可能会被问到,请重点理解造成namenode的元数据储存信息比较多文件过多会导致寻址时间较长,组原创 2020-09-07 20:23:20 · 2889 阅读 · 0 评论 -
VMwareWorkstation虚拟机下的Hadoop完全分布式环境搭建(HDFS,YARN,SSH配置)----hadoop学习笔记
工具:装了CentOS系统的虚拟机这里是先实现伪分布式,再对伪分布式进行克隆,修改得到的完全分布式第一步:安装前准备1.关闭防火墙[root@localhost ~]# systemctl stopfirewalld关闭防火墙[root@localhost ~]# systemctl disablefirewalld防止开机启动防火墙2.将计算机重命名运行命令hostnamectl set-hostname 名字重启reboot3.安装linux版的JDK1.8jdk1.8L原创 2020-09-07 20:04:38 · 469 阅读 · 0 评论