如何上传文件到hdfs?

是在学习sparkml的时候,产生了 hadf上没有数据文件的错误,如下图:

在这里插入图片描述

发现错误之后,决定按照文件夹,上传文件到hdfs上。

  1. 打开hadoop 所在的文件目录
  2. 查看当前目录信息
hdfs dfs -ls /

运行后产生下面的效果:
在这里插入图片描述
3 在hdfs上创建新的文件夹
这里创建的为aaa

hdfs dfs -mkdir /aaa

4 在本地创建一个新的文件夹
这里创建的为aaa, 建在 hadoop的根目录下,采用下面的命令:

mkdir aaa

5 在本地文件夹里写入数据文件
在aaa里写入数据文件

vim sample_kmeans_data.txt 

6 上传本地文件到hdfs

hadoop fs -put /opt/hadoop-2.7.3/aaa/sample_kmeans_data.txt /aaa

7 查看是否上传成功

hadoop fs -ls /aaa

出现如下所示的效果
在这里插入图片描述

此外,还可以在web界面的50070端口查看,如下图所示:
在这里插入图片描述
8 查看上传的文件内容

hadoop fs -cat /aaa/sample_kmeans_data.txt

出现如下所示的效果:
在这里插入图片描述

9 删除hdfs 文件

hadoop fs -rm /aaa/sample_kmeans_data.txt

10 复制hdfs 文件

从错误中看出,我要创建的文件夹是/user/root/data/mllib/

采用下面的命令:

hdfs dfs -mkdir -p /user/root/data/mllib/

创建成功之后,会显示出来的

接着再把aaa里面的文件复制到mllib文件中,采用下面的命令:

hdfs dfs -cp /aaa/sample_kmeans_data.txt /user/root/data/mllib/

在web界面看到下面的显示情况:
在这里插入图片描述

到此成功,再进行运行,成功不报错。在这里插入图片描述

更多hdfs命令可以查看博客:https://www.cnblogs.com/areyouready/p/9783687.html

  • 30
    点赞
  • 226
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 你可以使用以下命令将csv文件上传HDFS: ``` hdfs dfs -put /local/path/to/file.csv /hdfs/path/to/upload/ ``` 其中,`/local/path/to/file.csv` 是本地csv文件的路径,`/hdfs/path/to/upload/` 是上传到HDFS的目标路径。请确保你已经安装了Hadoop并且具有适当的权限来上传文件。 ### 回答2: 要将CSV文件上传HDFS,你可以通过以下步骤完成: 1. 首先,确保你已经安装了Hadoop和HDFS,并且集群正在运行。 2. 打开终端,使用以下命令导航到Hadoop的安装目录:`cd /path/to/hadoop`. 3. 使用以下命令切换到HDFS用户:`sudo -u hdfs hdfs dfs -mkdir /input`,创建一个名为input的目录,作为CSV文件的目标路径。 4. 使用以下命令将CSV文件复制到HDFS中的input目录:`sudo -u hdfs hdfs dfs -put /path/to/csvfile.csv /input/csvfile.csv`。 这将把本地的csvfile.csv文件复制到HDFS的/input目录下。 5. 确保文件已经成功上传,可以使用以下命令列出/upload目录下的文件:`sudo -u hdfs hdfs dfs -ls /input`。如果你看到csvfile.csv文件的列表项,表示文件上传成功。 通过以上步骤,你已经成功将CSV文件上传HDFS中的input目录下。你可以使用Hadoop和相关工具来处理这个文件了。注意,在执行上述命令时,请根据你的实际路径和文件名进行相应的更改。 ### 回答3: 要将CSV文件上传HDFS,可以按照以下步骤进行操作。 首先,确保已经在本地计算机上安装了Hadoop和HDFS,并且已经启动了HDFS服务。 然后,将CSV文件从本地计算机复制到HDFS的上传目录中。可以使用以下命令实现: ``` hadoop fs -put <本地文件路径> <HDFS上传目录路径> ``` 其中,本地文件路径是指CSV文件在本地计算机中的路径,HDFS上传目录路径是指要将文件上传HDFS的目标路径。 等待文件上传完成后,可以使用以下命令来验证是否成功上传: ``` hadoop fs -ls <HDFS目录路径> ``` 其中,HDFS目录路径是指要查看的目录路径,包括CSV文件。 如果成功上传,可以在输出中看到CSV文件的相关信息,如文件大小、修改日期等。 通过以上步骤,就可以将CSV文件成功上传到HDFS中了。接下来可以使用Hadoop和HDFS提供的功能对CSV文件进行处理和分析。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值