hdfs dfs -chmod -R 777 /install.log
chown
格式：hdfs dfs -chmod [-R] URI[URI …]
作用：改变文件的所属用户和用户组，如果使用-R选项，则对整个目录有效递归执行，使用这一命令的用户必须是文件的所属用户，或者超级用户
hdfs dfs -chown -R hadoop:hadoop /install.log
appendToFile
格式：hdfs dfs -appendToFile …
作用：追加一个或者多个文件到hdfs指定文件中，也可以从命令行读取输入
hdfs dfs -appendToFile a.xml b.xml /big.xml
HDFS文件 限额配置
hdfs dfs -count -q -h /user/root/dir1 #查看配额信息
hdfs dfs -mkdir -p user/root/dir #创建hdfs文件夹
hdfs dfsadmin -setQuota 2 dir #给该文件夹下面设置最多上传两个文件，发现只能上传一个文件
hdfs dfsadmin -clrQuota /user/root/dir #清楚文件数量限制
空间大小限额
在设置空间配额时，设置的空间至少是block_size*3大小
hdfs dfsadmin -setSpaceQuota 4k /user/root/dir #限制空间大小4kb
hdfs dfs -put /root/a.txt /user/root/dir
生成任意大小文件的命令
dd if=/dev/zero of=1.txt bs=1M count=2 #生成2M的文件
清楚空间配额限制
hdfs dfsadmin -setSpaceQuota dirq
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NbN1YHpQ-1629014721324)(C:\Users\WANG\AppData\Roaming\Typora\typora-user-images\image-20210814174354575.png)]
安全模式操作命令
hdfs dfsadmin -safemode get #查看安全模式状态
hdfs dfsadmin -safemode enter #进入安全模式
hdfs dfsadmin -safemode leave #离开安全模式
测试写入速度
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-x9T2oTvp-1629014721325)(C:\Users\WANG\AppData\Roaming\Typora\typora-user-images\image-20210814174905487.png)]
完成之后查看写入速度结果
hdfs dfs -text /benchmarks/TestDFSIO/io_write/part-0000
测试读取速度
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IE8bPbFT-1629014721325)(C:\Users\WANG\AppData\Roaming\Typora\typora-user-images\image-20210814175737924.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9ugWw4fV-1629014721326)(C:\Users\WANG\AppData\Roaming\Typora\typora-user-images\image-20210814204225595.png)]
-
Client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否存在，父目录是否存在，返回是否可以上传
-
Client请求第一个block该传输到哪些DataNode服务器上
-
NameNode根据配置文件中指定的被封数量及机架感知原理进行文件分配，返回可用的DataNode地址如：A，B,C
Hadoop在设计时3考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储测量为本地一份，同机机架内其他某一节点上一份，不同机架的某一节点上一份。
-
Client请求3台DataNode中的一台A上传数据（本质上是一个RPC调用，建立pipeline），A收到请求会继续调用B，然后B调用C,将整个pipeline建立完成，后逐级返回client
-
Client开始往A上传第一个block(先从磁盘读取数据放到一个本地内存缓存)，以packet为单位（默认64K），A收到一个packet就会传给B，B传给C，A每传爱一个packet会放入一个应答队列等待应答
-
数据被分割成一个个packet数据包在pipeline上依次传输，在pipeline反方向上，逐个发送ack（命令正确应答），最终由pipeline中第一个DataNode节点A将pipelineack发送给Client
-
当一个block传输完成之后，Client再吃请求NameNode上传第二个block到服务1
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pMBOpW5h-1629014721326)(C:\Users\WANG\AppData\Roaming\Typora\typora-user-images\image-20210814205646759.png)]
-
Client向NameNode发起RPC请求，来确定请求文件block所在的位置
-
NameNode会视情况返回文件的部分或者全部block列表，对于每个block,NameNode都会返回含有该block副本的DataNode地址；这些返回的DN地址，会按照集群拓扑结构得出DataNode与客户端的距离，然后进行排序，排序两个规则：网络拓扑结构中距离Client近的排靠前；心跳机制中超时汇报的DN状态为STALE，这样的排靠后
-
Client选取排序靠前的DataNode来读取block,然后客户端本身就是DataNode,那么将从本地直接获取数据（短路读取特性）
-
底层上本质是建立Socket Stream(FSDataInputStream),重复的的调用父类DataInputStream的read方法，直到这个块上的数据读取完毕；
-
当读完列表的block后，若文件读取还没有结束，客户端会继续想NameNode获取下一批block列表；
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IOiRiZ3H-1629014721327)(C:\Users\WANG\AppData\Roaming\Typora\typora-user-images\image-20210814212944070.png)]
当Hadoop的集群当中，NameNode的所有元数据信息都保存到FsImage与Eidts文件当中，这两个文件啊就记录了所有的是数据的元数据信息，元数据信息的保存目录配置在了hdfs-site.xml当中
dfs.namenode.name.dir
file:///export/servers/hadoop2.7.5/hadoopDatas/namenodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2
dfs.namenode.edits.dir
file:///export/servers/hadoop-2.7.5/hadoopoDatas/nn/edits
edits
-
edits存放了客户端最近一段时间的操作日志
-
客户端对HDFS进行写文件时会首先记录在edits文件中
-
edits修改时元数据也会更新
fsimage
-
NameNode中关于元数据的镜像，一般称为检查点，fsimage存放了一份比较完整的元数据信息
-
因为fsimage是NameNode的完整的镜像，如果每次加载到内存生成树拓扑结构，这是非常耗内存和CPU，所以一般开始时对NameNode的操作都放在edits中
-
fsimage内容包含了NameNode管理下的所有DataNode文件及文件block及block所在的DataNode的元数据信息
-
随着edits内容增大，就需要一定时间点和fsimage合并
fsimage中的文件信息查看
使用命令 hdfs oiv
cd /export/servers/hadoop2.7.5/hadoopDatas/namenodeDatas
hdfs oiv -i fsimage_0000000000000000864 -p XML -o hello.xml
edits中的文件信息查看
使用命令 hdfs oev
cd /export/servers/hadoop2.7.5/hadoopDatas/namenodeDatas
hdfs oev -i edits_0000000000000000865-0000000000000000866 -p XML -o myedit.xml
SecondaryNameNode如何辅助管理fsimage与edits文件？
-
SecondaryNameNode定期合并fsimage和edits，把edits控制在一个范围内
-
配置SecondaryNameNode
-
SecondayNameNode在conf/masters中指定
-
在masters指定的机器上，修改hdfs-site.xml
dfs.http.address
host:50070
- 修改core-site.xml，这一步不做配置保持默认也可以
//多久记录一次 HDFS镜像，默认1小时
fs.checkpoint.period
3600
//一次记录多大，默认64M
fs.checkpoint
67108864
-
SecondaryNameNode通知NameNode切换editlog
-
SecondaryNameNode从NameNode中获得fsimage和editlog(通过http方式)
-
SecondaryNameNode将fsimage载入内存，然后开始合并editlog,合并之后称为新的fsimage
-
SecondaryNameNode将新的fsimage发回给NameNode
-
NameNode用新的fsimage替换旧的fsimage
特点
完成合并的SecondaryNameNode，会请求NameNode停止使用edits,暂时将新鞋操作放入一个新的文件夹中edits_new
==============================================================================
配置Window下的Hadoop环境
在windows系统需要配置hadoop运行环境，否则直接运行代码会出现以下问题
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BXzJTdOh-1629014721328)(C:\Users\WANG\AppData\Roaming\Typora\typora-user-images\image-20210814233506617.png)]
步骤：
第一步：将hadoop2.7.5文件夹拷贝到一个没有中文没有空格的路径下面
第二步：在windows上面配置hadoop的环境变量：HADOOP_HOME,并将%HADOOP_HOME%\bin添加到path中
第三步：把hadoop2.7.5文件夹中bin目录下的hadoop.dll文件放到系统盘：C:\Window\System32目录
第四步：关闭windows重启
导入Maven依赖
org.apache.hadoop
hadoop-common
2.7.5
org.apache.hadoop
hadoop-client
2.7.5
org.apache.hadoop
hadoop-hdfs
2.7.5
org.apache.hadoop
hadoop-mapreduce-client-core
2.7.5
@Test
public void demo1() throws Exception{
//第一步：注册hdfs的url
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
//获取文件输入流
InputStream inputStream = new URL(“hdfs://node01:8020/a.txt”).openStream();
//获取文件输出流
FileOutputStream outputStream = new FileOutputStream(new File(“D:\hello.txt”));
//实现文件的拷贝
IOUtils.copy(inputStream,outputStream);
//关闭流
IOUtils.closeQuietly(inputStream);
IOUtils.closeQuietly(outputStream);
}
涉及的主要类
在Java中操作HDFS，主要涉及一下class:
Configuration
- 该类的对象封装了客户端或者服务器的配置
FileSystem
该类的对象是一个文件系统对象，可以用该对象的一些方法来对文件进行操作，通过FileSystem的静态方法get获得该对象
FileSystem fs = FileSystem.get(conf)
get方法从conf中的一个参数fs.defaultFS的配置值判断具体是什么类
如果我们的代码中没有指定fs.defaultFS,并且工程ClassPath下也没有给定相应的配置，conf中的默认值就来自于Hadoop的Jar包中的core-default.xml
默认值为file:///,则获取的不是一个DistributedFileSystem的实例，而是一个本地文件系统的客户端对象
第一种方式
@Test
public void getFileSystem1() throws IOException{
//创建Configuration对象
Configuration configuration = new Configuration();
//指定我们使用的文件系统类型
configuration.set(“fs.defaultFS”,“hdfs://node01:8020/”);
//获取指定的文件系统
FileSystem fileSystem = FileSystem.get(configuration);
System.out.println(fileSystem.toString());
}
第二种方式
@Test
public void getFileSystem2() throws Exception{
FileSystem fileSystem = FileSystem.get(new URI(“hdfs://node01:8020”), new Configuration());
System.out.println(“fileSystem:”+fileSystem);
}
第三种方式
@Test
public void getFileSystem3() throws Exception{
Configuration configuration = new Configuration();
configuratioin.set(“fs.defaultFS”,“hdfs://node01:8020”);
FileSystem fileSystem = FileSystem.newInstance(configurartion);
System.out.println(fileSystem.toString());
}
第四种方式
@Test
public void getFileSystem4() throws Exception{
FileSystem fileSystem = FileSystem.newInstance(new URI(“hdfs://node01:8020”),new Configuration());
System.out.println(fileSystem.toString());
}
使用API遍历
@Test
public void listMyFiles() throws Exception{
//获取fileSystem类
FileSystem fileSystem = FileSystem.get(new URI(“hdfs://node01:8020”),new Configuration());
//获取RemoteIterator得到所有的文件或者文件夹，第一个参数指定遍历的路径，第二个参数表示是否要递归遍历
RemoteIterator locatedFileStatusRemoteIterator = fileSystem.listFiles(new Path(“/”),true);
while(locatedFileStatusRemoteIterator.hasNext()){
LocatedFileStatus next = locatedFileStatusRemoteIterator.next();
System.out.println(next.getPath().toString());
}
fileSystem.close();
}
@Test
public void mkdirs() throws Exception{
FileSystem fileSystem = FileSystem.get(new URI(“hdfs://node01:8020”), new Configuration());
boolean mkdirs = fileSystem.mkdirs(new Path(“/hello/mydir/test”));
fileSystem.close();
}
@Test
public void getFileToLocal() throws Exception{
FileSystem fileSystem = FileSystem.get(new URI(“hdfs://node01:8020”),new Configuration());
FSDataInputStream inputStream = fileSystem.open(new Path(“/timer.txt”));
FileOutputStream outputStream = new FileOutStream(new File(“e:\timer.txt”));
IOUtils.copy(inputStream,outputStream);
IOUtils.closeQuietly(inputStream);
IOUtils.closeQuietly(outputStream);
fileSystem.close();
}
方式2：
@Test
public void downloadFile2() throws Exception{
//1、获取FileSystem
FileSystem fileSystem = FileSystem.get(new URI(“hdfs://node01:8020”),new Configuration());
//2、调用方法，实现文件的下载
fileSystem.copyToLocalFile(new Path(“/a.txt”),new Path(“D://a.txt”));
//3、关闭FileSystem
fileSystem.close();
}
@Test
public void putData() throws Exception{
FileSystem fileSystem = FileSystem.get(new URI(“hdfs://node01:8020”),new Configuration());
fileSystem.copyFromLocalFile(new Path(“file:///c:\install.log”),new Path(“/hello/mydir/test”));
fileSystem.close();
}
1、停止hdfs集群，在node01机器上执行以下命令
cd /export/servers/hadoop-2.7.5
sbin/stop-dfs.sh
2、修改node01机器上的hdfs-site.xml当中的配置文件
cd /export/servers/hadoop-2.7.5/etc/hadoop
vim hdfs-site.xml
dfs.permissions.enabled
true
最后
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。
因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，不论你是刚入门Java开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！
如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！
由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
1、停止hdfs集群，在node01机器上执行以下命令
cd /export/servers/hadoop-2.7.5
sbin/stop-dfs.sh
2、修改node01机器上的hdfs-site.xml当中的配置文件
cd /export/servers/hadoop-2.7.5/etc/hadoop
vim hdfs-site.xml
dfs.permissions.enabled
true
最后
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。
因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
[外链图片转存中…(img-BRIx7xaj-1715690001886)]
[外链图片转存中…(img-b5ehdHNi-1715690001887)]
[外链图片转存中…(img-zf9pE3oX-1715690001887)]
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，不论你是刚入门Java开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！
如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！
由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
扫一扫
1246
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
