大数据 实验一：大数据系统基本实验 熟悉常用的HDFS操作_大数据系统及应用-hdfs实训

文章目录

• 📚实验目的
• 📚实验平台
• 📚实验内容
• • ⭐️HDFSApi
    • ⭐️HDFSApi2
    • ⭐️HDFSApi3
    • ⭐️HDFSApi4
    • ⭐️HDFSApi5
    • ⭐️HDFSApi6
    • ⭐️HDFSApi7
    • ⭐️HDFSApi8
    • ⭐️HDFSApi9
    • ⭐️HDFSApi10

📚实验目的

1）理解 HDFS 在 Hadoop 体系结构中的角色。

2）熟练使用 HDFS 操作常用的 shell 命令。

3）熟悉 HDFS 操作常用的 Java API。

📚实验平台

1）操作系统：Linux；

2）Hadoop 版本：3.2.2；

3）JDK 版本：1.8；

4）Java IDE：Eclipse。

📚实验内容

编程实现以下功能，并利用 Hadoop 提供的 Shell 命令完成相同任务

⭐️HDFSApi

1）向 HDFS 中上传任意文本文件。如果指定的文件在 HDFS 中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件；

Shell命令

检查文件是否存在，可以使用如下命令：

cd /usr/local/hadoop
./bin/hdfs dfs -test -e text.txt
#执行完上述命令不会输出结果，需要继续输入以下命令查看结果
echo $?

重启了虚拟机开始做这个实验，一开始出现报错，搜索后发现原来是hadoop没开

---

echo $? 返回上一个命令的状态，0表示没有错误，其他任何值表明有错误（这里显然出错，因为还没有建text.txt文件夹），手动建一个text.txt然后拖到/usr/local/hadoop。

---

用户可以选择追加到原来文件末尾或者覆盖原来文件

cd /usr/local/hadoop
./bin/hdfs dfs -appendToFile local.txt text.txt #追加到原文件末尾
#touch local.txt
./bin/hdfs dfs -copyFromLocal -f local.txt text.txt #覆盖原来文件，第一种命令形式
./bin/hdfs dfs -cp -f file:///usr/local/hadoop/local.txt text.txt#覆盖原来文件，第二种命令形式

这样会自动建一个local.txt文件

实际上，也可以不用上述方法，而是采用如下命令来实现

if $(hdfs dfs -test -e text.txt);
then $(hdfs dfs -appendToFile local.txt text.txt);
else $(hdfs dfs -copyFromLocal -f local.txt text.txt);
fi

---

编程实现

package HDFSApi;
import java.util.Scanner;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.\*;
import java.io.\*; 
pu