傻逼教程之把linux的中的文件传到hadoop上,有手就行

直接进入正题。

1.首先打开idea新建工程,new project,然后选中maven,勾选 Create from archetype
然后选择:
在这里插入图片描述
2.点击next,然后设置组别和项目名字。点击next
在这里插入图片描述
3.设置Maven home directory ,这个选择自己装的maven文件夹。
设置User settings file ,这个选择maven文件下的conf文件夹中的settings.xml
设置Local repository, 这个需要在安装maven时建一个jarstore 文件夹。用于存放我暂时不知道什么东西的文件。点击next
在这里插入图片描述
4.设置项目名字和存储地址。点击finish
在这里插入图片描述
5.在左侧找到pom.xml文件,添加以下内容:

  <dependencies>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>2.6.0</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>2.6.0</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>2.6.0</version>
    </dependency>
    <dependency>
      <groupId>commons-logging</groupId>
      <artifactId>commons-logging</artifactId>
      <version>1.2</version>
    </dependency>
  </dependencies>

添加完之后会在右下角看到下图:
在这里插入图片描述
点击Import Changes,下载文件。
6.新建一个C文件,开始测试从linux输入文件到linux。
这里直接贴图了,
注意一下src里面的路径。
java文件夹内的cn.kgc.hdfs.HDFStest 是待会需要在linux里用的路径。
这个路径是你设置为蓝色文件夹内的路径。
在这里插入图片描述
7.接着我们需要打包这个文件。
点击左上角 File -> Project Structure
在这里插入图片描述
8.然后点击Artifacts,再点中间的 + ,出现JAR,选择里面的From …
如图所示:
在这里插入图片描述
9. 接着直接点击OK即可,然后点击Apply再点OK。在这里插入图片描述
10. 接着点击上方工具中的Build和下面的Build Artifacts在这里插入图片描述
11. 在下方弹出的框框中点击build
在这里插入图片描述
12.build之后 左边会弹出out和target目录,点击out找到work.jar的地址,如下图所示打开。
在这里插入图片描述
13.把建好的jar文件拖到虚拟机的hadoop文件夹的share目录下。
在这里插入图片描述
14.我们现在hadoop上创建一个b.txt文件。输入:
hadoop fs -touchz /b.txt
然后登录到192.168.78.101:50070
点击Ut…下面的Browse…,
如果创建成功可以看到一个b.txt文件。
在这里插入图片描述
在这里插入图片描述
15.在启动hadoop之后,输入以下命令:
hadoop jar work.jar cn.kgc.hdfs.HDFStest /b.txt hdfs://hadoop101:9000 /etc/profile
这个命令是使用 work.jar 文件中的 (刚才说的路径)cn.kgc.hdfs.HDFStest 编写的代码把/etc/profile中的内容写入到hadoop101服务器(这里的服务器名字要写自己的主机名)上的b.txt文件。
完成之后应该会看到etc/profile中的内容。
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值