hadoop+maven工程伪分布下实例运行

首先希望能够把本地的一些资源能够上传到hdfs当中，利用伪分布的格式分析工程的运行情况：执行put操作的时候出错
hadoop报错：could only be replicated to 0 nodes, instead of 1
出现错误之后利用jps查看已经启动的节点
但是发现datanode没有启动，因此stop-all所有的节点，重新格式化namenode节点，然后重新进行启动就可以了
首先介绍hdfs中常用的一些命令
hadoop fs -mkdir /user/trunk
hadoop fs -ls /user
hadoop fs -lsr /user (递归的)
hadoop fs -put test.txt /user/trunk
hadoop fs -put test.txt . (复制到hdfs当前目录下，首先要创建当前目录)
hadoop fs -get /user/trunk/test.txt . (复制到本地当前目录下)
hadoop fs -cat /user/trunk/test.txt
hadoop fs -tail /user/trunk/test.txt (查看最后1000字节)
hadoop fs -rm /user/trunk/test.txt
hadoop fs -help ls (查看ls命令的帮助文档)…….
感觉其实和一些常规的linux下的命令是差不多的

一 拷贝数据
hadoop fs -mkdir /user
hadoop fs -mkdir /user/trunck
创建新的hdfs上的文件目录
将本地的文件拷贝到其中
hadoop fs -put ~/Documents/wrong.txt /user/trunck
之后尝试用伪分布的结构跑一下wordcount的程序
可以看一下当前对应的目录下已经有这个文件了
hadoop fs -ls /user/trunck

二 新建一个maven的工程
利用maven工程在工程配置中的一些依赖项等比较好处理
可以利用在命令行中进行声明的方式
mvn archetype:create -DgroupId=com.demo.maven -DartifactId=mavenDemo
也可以通过在eclipse下配置完成了maven插件之后进行创建
创建完成后看到的结构是：

修改pom.xml中增加工程对hadoop的依赖情况

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <