直接进入正题。
1.首先打开idea新建工程,new project,然后选中maven,勾选 Create from archetype
然后选择:
2.点击next,然后设置组别和项目名字。点击next
3.设置Maven home directory ,这个选择自己装的maven文件夹。
设置User settings file ,这个选择maven文件下的conf文件夹中的settings.xml
设置Local repository, 这个需要在安装maven时建一个jarstore 文件夹。用于存放我暂时不知道什么东西的文件。点击next
4.设置项目名字和存储地址。点击finish
5.在左侧找到pom.xml文件,添加以下内容:
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.6.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.6.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.6.0</version>
</dependency>
<dependency>
<groupId>commons-logging</groupId>
<artifactId>commons-logging</artifactId>
<version>1.2</version>
</dependency>
</dependencies>
添加完之后会在右下角看到下图:
点击Import Changes,下载文件。
6.新建一个C文件,开始测试从linux输入文件到linux。
这里直接贴图了,
注意一下src里面的路径。
java文件夹内的cn.kgc.hdfs.HDFStest 是待会需要在linux里用的路径。
这个路径是你设置为蓝色文件夹内的路径。
7.接着我们需要打包这个文件。
点击左上角 File -> Project Structure
8.然后点击Artifacts,再点中间的 + ,出现JAR,选择里面的From …
如图所示:
9. 接着直接点击OK即可,然后点击Apply再点OK。
10. 接着点击上方工具中的Build和下面的Build Artifacts
11. 在下方弹出的框框中点击build
12.build之后 左边会弹出out和target目录,点击out找到work.jar的地址,如下图所示打开。
13.把建好的jar文件拖到虚拟机的hadoop文件夹的share目录下。
14.我们现在hadoop上创建一个b.txt文件。输入:
hadoop fs -touchz /b.txt
然后登录到192.168.78.101:50070
点击Ut…下面的Browse…,
如果创建成功可以看到一个b.txt文件。
15.在启动hadoop之后,输入以下命令:
hadoop jar work.jar cn.kgc.hdfs.HDFStest /b.txt hdfs://hadoop101:9000 /etc/profile
这个命令是使用 work.jar 文件中的 (刚才说的路径)cn.kgc.hdfs.HDFStest 编写的代码把/etc/profile中的内容写入到hadoop101服务器(这里的服务器名字要写自己的主机名)上的b.txt文件。
完成之后应该会看到etc/profile中的内容。