天津东软实训第四天

今天主要学习一下内容：

1、封装JDBC，自定义范型

2、反射，自定义注解

3、MapReduce配置及Wordcount的运行，Yarn配置

4、Eclipse自己创建MapReduce

其中有一些问题需要注意一下：

配置完MapReduce后，在跑Wordcount方法时，会出现一些错误，但是这些错误对结果没有什么影响，无论是在Linux上还是Eclipse上都是差不多的

错误的代码如下：

Linux上：

 

WARN hdfs.DFSClient: Caught exception 
java.lang.InterruptedException
	at java.lang.Object.wait(Native Method)
	at java.lang.Thread.join(Thread.java:1252)
	at java.lang.Thread.join(Thread.java:1326)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.closeResponder(DFSOutputStream.java:609)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.endBlock(DFSOutputStream.java:370)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:546)

 

出现上述错误，但是还能得出结果。

Eclipse上：

Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

出现错误的原因和上面的一样。　

解决办法：

 确保环境变量配置正确，并且在hadoop安装目录下的bin目录下加入以下文件：

就不报错了。

转载于:https://www.cnblogs.com/huyangyang/p/9301102.html