Linux上传本地文件到HDFS

上一篇文章记录了如何使用java代码将本地文件上传到HDFS中,之后我又尝试了直接使用Linux命令上传文件,过程如下。

su hdfs                 //切换到HDFS用户
cd /home/hdfs/files     //进入到服务器中文件所在目录
ls                      //查看此目录下的文件列表
vim test.txt    //若文件存在可显示文件中的内容,若不存在则新建文件
注:按“i”键可进入编辑器,可直接修改文件中的内容 
test.txt文件中的内容: 
1 15673830092 aaa 
2 15837287388 bbb 

3 15008378273 ccc (以Tab分割)

:wq!    //保存文件并退出
ls      //可看到目录中已添加好test.txt文件
hdfs dfs -put /home/hdfs/files/test.txt   /input    //将本地文件上传到HDFS中,前面为服务器中文件路径,后面为HDFS中文件路径
hdfs dfs -ls /input         //可发现HDFS路径中新增test.txt文件
hdfs dfs -cat   /input/test.txt     //显示文件中的内容

至此为止,服务器中文件的创建及上传到HDFS中已全部完成,下一篇文章中讲述如何将HDFS中的txt文件映射为Hive中的表。

  • 13
    点赞
  • 58
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 要将Linux本地文件上传HDFS,可以使用以下命令: ``` hadoop fs -put /本地文件路径 /HDFS文件路径 ``` 其,/本地文件路径是要上传的本地文件的路径,/HDFS文件路径是要上传到的HDFS文件的路径。 例如,如果要将本地文件/home/user/file.txt上传HDFS的/user/hadoop目录下,可以使用以下命令: ``` hadoop fs -put /home/user/file.txt /user/hadoop/ ``` 这将把本地文件file.txt上传HDFS的/user/hadoop目录下。 ### 回答2: 在将本地文件上传HDFS之前,需要先确保在本地机器上已经安装了Hadoop并且已经启动了HDFS服务。在本地机器上,我们可以使用命令行或者Hadoop WebUI界面来上传文件。 1. 使用命令行上传文件HDFS (1)在本地创建一个新文件夹,并将待上传文件储存在该文件。 (2)使用以下命令将本地文件上传HDFS: `hdfs dfs -put /path/to/local/file /path/to/hdfs/directory` 其,`/path/to/local/file` 是本地文件的路径,`/path/to/hdfs/directory` 是HDFS上的目录路径。 (3)输入命令后,系统会自动将本地文件上传HDFS指定的目录。 2. 使用Hadoop WebUI上传文件HDFS (1)打开Hadoop WebUI界面,并登录。 (2)选择“File Browser”选项,进入HDFS文件浏览器。 (3)在左侧栏选择要将文件上传到的目录。 (4)在右侧栏选择“Upload”选项,在弹出的窗口点击“Browse”按钮,选择本地文件并确认选择。 (5)点击“Upload”按钮,系统会自动将本地文件上传HDFS指定的目录。 无论是使用命令行还是Hadoop WebUI,上传文件的过程都比较简单,但需要注意的是,上传文件必须符合HDFS文件系统的规则,否则将会上传失败。同时,在上传之前,也需要先确保HDFS系统的可用性和文件上传的权限。 ### 回答3: HDFS(Hadoop Distributed File System)是Hadoop非常重要的一个组成部分,它是一个分布式文件系统,在存储大规模数据集时具有很高的可靠性、可扩展性和高吞吐量。在Hadoop,很多数据的处理和分析都是基于HDFS文件系统的,因此在使用Hadoop时,HDFS的使用也是非常重要的。 在Linux系统,如果我们需要将本地文件上传HDFS,一般需要通过hadoop客户端工具进行操作。以下是一个常规的上传文件的步骤: 1. 获得hadoop客户端工具所在的路径。在Linux系统,可以通过使用“which hadoop”命令来找到hadoop客户端工具的安装路径,并记录该路径。 2. 进入本地文件所在的目录。使用命令“cd 文件路径”进入到本地文件所在的目录。 3. 执行hdfs上传命令。使用hadoop客户端工具hdfs命令,执行文件上传命令。例如,将本地文件test.txt上传HDFS的/user/hadoop/test目录的命令为: hdfs dfs -put test.txt /user/hadoop/test/ 执行该命令后,文件就会被上传HDFS。 需要注意的是,在执行上传命令时,上传目录必须已经存在,否则上传操作将会失败。此外,如果上传文件名在HDFS已经存在,也需要指定覆盖操作,否则上传操作也会出现异常。在上传大量的文件时,建议使用命令行的通配符*来进行指定,可以避免重复操作。 总之,通过hadoop客户端工具,将Linux本地文件上传HDFS非常简单。只需要按照上面的步骤操作即可。上传文件HDFS是Hadoop生态系统常用的操作之一,具有很重要的使用价值。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值