HDFS编程实践

最新推荐文章于 2024-08-11 22:07:57 发布

数据科学与大数据

最新推荐文章于 2024-08-11 22:07:57 发布

阅读量233

点赞数 3

分类专栏：大数据实战文章标签： hdfs hadoop 大数据

本文链接：https://blog.csdn.net/m0_58064058/article/details/140418322

版权

3 篇文章 0 订阅

订阅专栏

相关软件安装包及其版本说明如表所示。

1、启动hadoop

cd /usr/local/hadoop
./sbin/start-dfs.sh #启动hadoop

hadoop fs#适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统
hadoop dfs#只能适用于HDFS文件系统
hdfs dfs#跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统

./bin/hadoop fs #查看fs总共支持了哪些命令

./bin/hadoop fs -help put #查看put命令如何使用，可以输入如下命令

Hadoop系统安装好以后，第一次使用HDFS时，需要首先在HDFS中创建用户目录。本教程全部采用hadoop用户登录Linux系统，因此，需要在HDFS中为hadoop用户创建一个用户目录，命令如下：

cd /usr/local/hadoop
./bin/hdfs dfs -mkdir -p /user/hadoop

./bin/hdfs dfs -ls /user/hadoop#列出/user/hadoop/目录下的文件

如果要列出HDFS上的所有目录，可以使用如下命令：

./bin/hdfs dfs -ls

创建一个input目录：

 ./bin/hdfs dfs -mkdir input

在创建个input目录时，采用了相对路径形式，实际上，这个input目录创建成功以后，它在HDFS中的完整路径是“/user/hadoop/input”。如果要在HDFS的根目录下创建一个名称为input的目录，则需要使用如下命令：

./bin/hdfs dfs -mkdir /input

可以使用rm命令删除一个目录，比如，可以使用如下命令删除刚才在HDFS中创建的“/input”目录（不是“/user/hadoop/input”目录）：

./bin/hdfs dfs -rm -r /input

关注

专栏目录