开篇
先简单描述一下这边博客主要要讲的内容,首先是配置idea可以编写hadoop的程序,然后是一个操作hdfs的小程序演示。
Hadoop的搭建
一直跟随的是厦门大学林老师的课程,这边是hadoop的搭建教程的链接,我是用自己的机子搭建的单机伪分布式。所以下面的一些操作都是适用于单机伪分布式的。
idea开发环境的搭建
这边需要我们做的是两件事,导入jar包,林老师的教程就让我导入了两个common下面的jar,我写完代码,半天执行不出结果,这边讲一下idea下面怎么导入jar包。
如下图所示:
建议大家导入的jar包有下面几个
(1)”/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar;
(2)/usr/local/hadoop/share/hadoop/common/lib”目录下的所有JAR包;
(3)“/usr/local/hadoop/share/hadoop/hdfs