大数据技术原理与应用—实验2—熟悉常用的HDFS操作

本文介绍了如何在Hadoop环境中进行HDFS的基本操作,包括修改环境变量以简化命令,上传和追加文件,下载文件并处理同名冲突,查看文件信息,管理文件和目录的权限,以及执行创建、删除和移动文件及目录的操作。在实践过程中遇到了JAVA_HOME配置和hadoop命令找不到等问题,并给出了解决方案。
摘要由CSDN通过智能技术生成

暂写shell命令版本,编程操作下周更新

实验2-熟悉常用HDFS操作

修改环境变量

通过下边的环境变量的修改,以后的HDFS命令可以省去进入usr/local/hadoop/的过程,且不需要每个命令前都加上./sbin

cd ~
sudo vim ~/.bashrc #vim编辑器打开bashrc文件修改环境变量

第一行加上

export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin #esc :wq保存退出

在终端输入

source ~/.bashrc  #执行bashrc文件

启动Hadoop

cd /usr/local/hadoop/
./sbin/start-all.sh
##更改过环境变量以后,直接输入
start-all.sh 

题目1-9

(1) 向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件;
使用如下命令创建一个input目录:

cd /usr/local/hadoop
./bin/hdfs dfs –mkdir input

在创建个input目录时,采用了相对路径形式,实际上,这个input目录创建成功以后,它在HDFS中的完整路径是“/user/hadoop/input”。
使用vim编辑器,在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件test.txt,

cd /home/hadoop/
sudo vim test.txt

输入如下:

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值