HDFS
文章目录
1、Shell 操作
上传
- -moveFromLocal:从本地剪切粘贴到 HDFS
hadoop fs -moveFromLocal 本地文件 HDFS目录
- -copyFromLocal:从本地文件系统中拷贝文件到 HDFS 路径去
hadoop fs -copyFromLocal 本地文件 HDFS目录
- -put:等同于 copyFromLocal,生产环境更习惯用 put
hadoop fs -put 本地文件 HDFS目录
- -appendToFile:追加一个文件到已经存在的文件末尾
hadoop fs -appendToFile 本地文件 HDFS目录
下载
- -copyToLocal:从 HDFS 拷贝到本地
hadoop fs -copyToLocal HDFS目录文件 本地目录
- -get:等同于 copyToLocal,生产环境更习惯用 get
hadoop fs -get HDFS目录文件 本地目录
直接操作(和Linux命令功能一样)
- -ls: 显示目录信息
- -cat:显示文件内容
- -chmod、-chown:Linux 文件系统中的用法一样,修改文件所属权限
- -mkdir:创建路径
- -cp:从 HDFS 的一个路径拷贝到 HDFS 的另一个路径
- -mv:在 HDFS 目录中移动文件
- -tail:显示一个文件的末尾 1kb 的数据
- -rm:删除文件或文件夹
- -rm -r:递归删除目录及目录里面内容
- -du: 统计文件夹的大小信息
hadoop fs -du -s -h HDFS目录
(列出该目录的大小信息)hadoop fs -du -h HDFS目录
(列出该目录里面文件的大小信息)
- -setrep:设置 HDFS 中文件的副本数量(将该文件的副本数设置为 10 个)
hadoop fs -setrep 10 HDFS目录文件
2、API 操作
准备工作
-
添加依赖:创建Maven工程,添加依赖(pom.xml)
<dependency> <!-- 版本号跟自己的Hadoop版本对应 --> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.1.4</version> </dependency> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> </dependency> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> <version>1.7.30</version> </dependency>
-
添加日志:log4j.properties
log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n log4j.appender.logfile=org.apache.log4j.FileAppender log4j.appender.logfile.File=target/spring.log log4j.appender.logfile.layout=org.apache.log4j.PatternLayout log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
文件上传
-
FileSystem.copyFromLocalFile(...)
@Test public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException { // 1 获取文件系统 Configuration configuration = new Configuration(); //(URI uri) 和 (String user) 两个参数按照自己的配置相应的修改 FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.151:8020"), configuration, "root"); // 2 上传文件 fs.copyFromLocalFile(new Path("D:\\fzk.txt"), new Path("/fzk")); // 3 关闭资源 fs.close(); }
文件下载
-
FileSystem.copyToLocalFile(...)
@Test public void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException { // 1 获取文件系统 Configuration configuration = new Configuration(); //(URI uri) 和 (String user) 两个参数按照自己的配置相应的修改 FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.151:8020"), configuration, "root"); // 2 执行下载操作 // boolean delSrc 指是否将原文件删除 // Path src 指要下载的文件路径 // Path dst 指将文件下载到的路径 // boolean useRawLocalFileSystem 是否开启文件校验 fs.copyToLocalFile(false, new Path("/xiyou/huaguoshan/sunwukong.txt"), new Path("d:/sunwukong2.txt"), true); // 3 关闭资源 fs.close(); }
修改文件名称
-
FileSystem.rename(...)
@Test public void testRename() throws IOException, InterruptedException, URISyntaxException{ // 1 获取文件系统 Configuration configuration = new Configuration(); //(URI uri) 和 (String user) 两个参数按照自己的配置相应的修改 FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.151:8020"), configuration, "root"); // 2 修改文件名称 fs.rename(new Path("/xiyou/sunwukong.txt"), new Path("/xiyou/meihouwang.txt")); // 3 关闭资源 fs.close(); }
删除文件和目录
-
FileSystem.delete(...)
@Test public void testDelete() throws IOException, InterruptedException, URISyntaxException{ // 1 获取文件系统 Configuration configuration = new Configuration(); //(URI uri) 和 (String user) 两个参数按照自己的配置相应的修改 FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.151:8020"), configuration, "root"); // 2 执行删除 fs.delete(new Path("/xiyou"), true); // 3 关闭资源 fs.close(); }
文件详情查看
-
查看文件名称、权限、长度、块信息
@Test public void testListFiles() throws IOException, InterruptedException, URISyntaxException { // 1 获取文件系统 Configuration configuration = new Configuration(); //(URI uri) 和 (String user) 两个参数按照自己的配置相应的修改 FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.151:8020"), configuration, "root"); // 2 获取文件详情 RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true); while (listFiles.hasNext()) { LocatedFileStatus fileStatus = listFiles.next(); System.out.println("========" + fileStatus.getPath() + "========="); System.out.println(fileStatus.getPermission()); //权限 System.out.println(fileStatus.getOwner()); //拥有者 System.out.println(fileStatus.getGroup()); //组 System.out.println(fileStatus.getLen()); //长度 System.out.println(fileStatus.getModificationTime()); //修改时间 System.out.println(fileStatus.getReplication()); //文件存存储的副本数 System.out.println(fileStatus.getBlockSize()); //块的大小 System.out.println(fileStatus.getPath().getName()); //名称 // 获取块信息 BlockLocation[] blockLocations = fileStatus.getBlockLocations(); System.out.println(Arrays.toString(blockLocations)); //文件所在的块 } // 3 关闭资源 fs.close(); }
文件和文件夹判断
-
FileSystem.isFile()
@Test public void testListStatus() throws IOException, InterruptedException, URISyntaxException { // 1 获取文件配置信息 Configuration configuration = new Configuration(); //(URI uri) 和 (String user) 两个参数按照自己的配置相应的修改 FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.151:8020"), configuration, "root"); // 2 判断是文件还是文件夹 FileStatus[] listStatus = fs.listStatus(new Path("/")); for (FileStatus fileStatus : listStatus) { // 如果是文件 if (fileStatus.isFile()) { System.out.println("文件:" + fileStatus.getPath().getName()); } else { System.out.println("目录:" + fileStatus.getPath().getName()); } } // 3 关闭资源 fs.close(); }
修改参数方法
-
1、客户端代码中设置的值:
Configuration.set(key, value)
// 1 获取文件系统 Configuration configuration = new Configuration(); //设置 dfs.replication 的数量为 2 configuration.set("dfs.replication", "2"); FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.151:8020"), configuration, "root");
-
2、ClassPath 下的用户自定义配置文件
-
将 hdfs-site.xml 拷贝到项目的 resources 资源目录下
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- 设置 dfs.replication 的数量为 1 --> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
-
-
3、然后是服务器的自定义配置(xxx-site.xml)
-
4、服务器的默认配置(xxx-default.xml)
参数优先级
- 优先级从高到低
- 客户端代码中设置的值
- ClassPath 下的用户自定义配置文件
- 然后是服务器的自定义配置(xxx-site.xml)
- 服务器的默认配置(xxx-default.xml)