hadoop编程实践(一)

本文介绍了Hadoop的基本操作,包括目录创建、文件在本地与Hadoop之间的移动,以及如何在Hadoop之间传输文件。还详细讲述了如何配置IDEA环境,包括下载、安装、导入依赖,并指导了如何将Hadoop项目打包成JAR包。
摘要由CSDN通过智能技术生成

Hadoop操作基础与IDE环境配置。

Hadoop操作

目录操作

  • 在操作之前,需要在hadoop根目录下创建与Linux用户同名的user目录

    ./bin/hdfs dfs -mkdir -p /user/hadoop
    
  • 之后,所有的文件都默认放入这个目录下面,很多命令与Linux命令一致,比如查看当前文件夹:

    53828664252

  • 这个input是这样创建的:

    ./bin/hfs dfs -mkdir input 
    
  • /input,表示在HDFS的根目录创建input目录

文件操作

本地->Hadoop

  • 将本地文件移动到hadoop的input文件夹下:

  • 查看Hadoop的input文件夹下的文件:

    53828629776

Hadoop->本地

  • 同时,也可以将Hadoop上的文件下载到本地:

    53828692861

Hadoop之间

  • 在Hadoop的文件之间进行传输,与Linux上文件传输无异

  • 注意,要使用-cp命令,一定要确保目标文件夹存在:

    53828732698

配置IDE环境

下载IDEA

  • 首先在官网下载IDEA到Download

    53828888226

  • 然后执行解压命令,解压到/usr/local

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值