第三节课
分布式系统是由一组通过网络进行通信,为了完成共同的任务而协调工作的计算机节点组成的系统
分布式系统异常的现象有哪些:分布式系统中有大量节点,且通过网络通信。单个节点的故障(进程crash,断电,磁盘损坏)网络通信也可能出现断网,高延迟的情况。
分布式异常的解决方法:最简单的办法,就是冗余或者复制集(Replication),即多个节点负责同一个任务,最为常见的就是分布式存储中,多个节点复杂存储同一份数据,以此增强可用性与可靠性。
分布式系统的类别:分布式数据存储,分布式计算,分布式文件系统,分布式消息,分布式应用,分布式分类账
分布式系统的优点:经济性(便宜)、速度快、分布广泛、可靠性好、扩展容易
分布式系统的缺点:软件少,网络可能饱和,保密数据可能被访问到
HDFS(Hadoop Distributed File System)Hadoop的分布式文件系统
HDFS的特点:
1.它是一个文件系统,用于存储文件,通过统一的命名空间(目录树)来定位文件。
2.它是分布式的,由多个服务器联合起来实现功能,集群中的服务器有各自的角色。
上传文件:
先创建文件
vi hdfs.txt写文件
查看编写内容
上传文件
上传结果:
下载文件:
hadoop05里:
查看
也可以用主节点hadoop04免密登录hadoop06去下载
免密登录:
下载:
在hadoop06里查看:
查看当前目录信息(hadoop05):
剪切文件:
先创建一个文件并查看:
剪切并查看当前目录:
最后再查看下opt目录
move.txt文件已经没有了。
创建多级文件夹:
查看:
复制文件:
全部的HDFS命令行:
hdfs命令行
(1)查看帮助
hdfs dfs -help
(2)查看当前目录信息
hdfs dfs -ls /
(3)上传文件
hdfs dfs -put /本地路径 /hdfs路径
(4)剪切文件
hdfs dfs -moveFromLocal a.txt /aa.txt
(5)下载文件到本地
hdfs dfs -get /hdfs路径 /本地路径
(6)合并下载
hdfs dfs -getmerge /hdfs路径文件夹 /合并后的文件
(7)创建文件夹
hdfs dfs -mkdir /hello
(8)创建多级文件夹
hdfs dfs -mkdir -p /hello/world
(9)移动hdfs文件
hdfs dfs -mv /hdfs路径 /hdfs路径
(10)复制hdfs文件
hdfs dfs -cp /hdfs路径 /hdfs路径
复制移动学到手,cpmv可以有
(11)删除hdfs文件
hdfs dfs -rm /aa.txt
(12)删除hdfs文件夹
hdfs dfs -rm -r /hello
(13)查看hdfs中的文件
hdfs dfs -cat /文件
hdfs dfs -tail -f /文件
(14)查看文件夹中有多少个文件
hdfs dfs -count /文件夹
(15)查看hdfs的总空间
hdfs dfs -df /
hdfs dfs -df -h /
(16)修改副本数
hdfs dfs -setrep 1 /a.txt
HDFS的特性:
分块存储(block)默认一块是128M,可以自定义配置。
统一的抽象目录树
统一管理,由namenode维护目录树和文件所对应的块和所在的datanode的服务器
datanode存储管理,datanode是集群从节点,每个block可在多个datanode上存储3个副本,副本数量可修改
一次写多次读,可追加不可修改
HDFS的优点:
适合大数据处理:能够处理PB级数据,能够处理1万个节点规模
擅长处理非结构化数据
流式访问数据:一次写入、多次读取。文件一旦写入,不能修改,只能追加,能保证数据的一致性
运行于廉价的商用机器集群上。通过从副本机制,提高可靠性
HDFS的缺点:
不适合处理要求效率的数据访问
无法高效的存储大量小文件,块的位置会储在namenode节点的内存中,namenode的内存是有限的,小文件存储的寻址时间会超过读取时间
不支持并发写入和任意的修改
HDFS适用做数据分析,不适合做网盘应用
在eclipse里操作HDFS:
配置hadoop,log4j和share里common与lib的jar包
进行删除操作:
上传文件:
文件重命名: