本文为在校学习大数据课程期间,对厦门大学林子雨老师大数据技术原理与应用 第三章 分布式文件系统HDFS学习指南一文进行的整理,方便自己学习查看
原文地址为大数据技术原理与应用 第三章 分布式文件系统HDFS学习指南
操作系统为Ubuntu16.04
虚拟机为VirtualBox
一、HDFS文件操作
启动Hadoop
cd /usr/local/hadoop
./sbin/start-dfs.sh #启动hadoop
1.shell命令与HDFS交互
1.1目录操作
第一次使用HDFS时,需要首先在HDFS中创建用户目录。
cd /usr/local/hadoop
./bin/hdfs dfs –mkdir –p /user/hadoop
列出HDFS上所有目录
./bin/hdfs dfs –ls
创建一个input目录
./bin/hdfs dfs –mkdir input #相对路径,完整路径为“/user/hadoop/input”
1.2文件操作
使用vim在本地Linux系统“/home/hadoop/”目录下创建一个文件myLocalFile.txt
Hadoop
Spark
XMU DBLAB
本地文件系统的“/home/hadoop/myLocalFile.txt”上传到HDFS中的当前用户目录的input目录
./bin/hdfs dfs -put /home/hadoop/myLocalFile.txt input
查看HDFS中input目录下文件
./bin/hdfs dfs –ls input
Found 1 items
-rw-r--r-- 1 hadoop supergroup 36 2022-03-18 10:47 input/ myLocalFile.txt
查看HDFS中myLocalFile.txt这个文件的内容
./bin/hdfs dfs –cat input/myLocalFile.txt
HDFS中myLocalFile.txt文件下载到本地文件系统中的“/home/hadoop/下载/”目录
./bin/hdfs dfs -get input/myLocalFile.txt /home/hadoop/下载
HDFS中文件从一个目录拷贝到另一个目录中,如将“/user/hadoop/input/myLocalFile.txt”文件,拷贝到HDFS的另外一个目录“/user/hadoop/input01/”中
./bin/hdfs dfs -cp input/myLocalFile.txt input01
2.运行程序部署
将IDE中java文件打jar包至Linux中/usr/local/hadoop/myapp目录下(jar包导出操作详见置顶原文)
使用hadoop jar命令运行程序
cd /usr/local/hadoop
./bin/hadoop jar ./myapp/HDFSExample.jar
#或者
cd /usr/local/hadoop
java -jar ./myapp/HDFSExample.jar