在上一篇已经完成java环境和hadoop环境配置。接下去开始进行第二章到实践。
首先,为了方便编辑和组织文件目录。我下载解压了一个Eclipse。直接解压就可以运行了。
然后创建一个Java Project。
由于原书有代码可以下载,我就没有自己再抄一遍。代码可以从http://hadoopbook.com/code.html下载。同时,需要在同一页面下载测试数据。
接着编译java文件。利用Eclipse很快就搞定。
由于还没找到Eclipse如何运行Hadoop的,所以就在Terminal运行相关命令。
打开Terminal
#先跳转到Eclipse编译文件保存的目录下,
# .class在/home/linux/workspace/Hadoop_Test1/bin
# 测试数据1901文件在/home/linux/workspace目录下
$cd /home/linux/workspace/Hadoop_Test1/bin
$export HADOOP_CLASSPATH=./
$hadoop MaxTemperature /home/linux/workspace/1901 output
执行完。
在/home/linux/workspace/Hadoop_Test1/bin目录下会有个结果文件夹output,里面有一个part-00000文件。打开可以看见结果:1901 317
这次运行还是很顺利。基本上没有遇到太大到问题。看来Hadoop是很稳定,容易使用的。
今天顺利收工。
首先,为了方便编辑和组织文件目录。我下载解压了一个Eclipse。直接解压就可以运行了。
然后创建一个Java Project。
由于原书有代码可以下载,我就没有自己再抄一遍。代码可以从http://hadoopbook.com/code.html下载。同时,需要在同一页面下载测试数据。
接着编译java文件。利用Eclipse很快就搞定。
由于还没找到Eclipse如何运行Hadoop的,所以就在Terminal运行相关命令。
打开Terminal
#先跳转到Eclipse编译文件保存的目录下,
# .class在/home/linux/workspace/Hadoop_Test1/bin
# 测试数据1901文件在/home/linux/workspace目录下
$cd /home/linux/workspace/Hadoop_Test1/bin
$export HADOOP_CLASSPATH=./
$hadoop MaxTemperature /home/linux/workspace/1901 output
执行完。
在/home/linux/workspace/Hadoop_Test1/bin目录下会有个结果文件夹output,里面有一个part-00000文件。打开可以看见结果:1901 317
这次运行还是很顺利。基本上没有遇到太大到问题。看来Hadoop是很稳定,容易使用的。
今天顺利收工。