1:hadoop2.7.3环境
2:阿里云服务器centos6.5,ip是:47.88.14.190
3:hadoop在伪分布式下运行的。
4:具体配置文件如下:
1)core-site.xml配置(ip地址最好不用localhost,不然不好测试)
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://47.88.14.190:9000</value>
</property>
</configuration>
2)hdfs-site.xml配置(配置副本为1,也就是伪分布式)
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
3)mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>47.88.14.190:8021</value>
</property>
</configuration>
5:注意,4中的配置文件的端口号很重要,因为java程序访问hadoop的时候就要用这些端口。
6:运行hadoop,执行sbin/start-all.sh
7:在centos6.5中执行,hadoop fs -mkdir /test
8:上传test.txt到hadoop的文件系统中去, hadoop fs -copyFromLocal /usr/text.txt /test
9:新建一个java程序,读取hadoop文件系统中的/test/text.txt文件。(注意端口号9000就是core-site.xml中配置的端口号)
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
public class FileSystemCat {
public static void main(String[] args) throws Exception {
String uri="hdfs://47.88.14.190:9000/test/test.txt";
Configuration configuration=new Configuration();
FileSystem fileSystem=FileSystem.get(URI.create(uri), configuration);
FSDataInputStream in=null;
in=fileSystem.open(new Path(uri));
// FileStatus fileStatus=fileSystem.getFileStatus(new Path(uri));
// byte[] buffer=new byte[1024];
// in.read(4096, buffer, 0, 1024);
IOUtils.copyBytes(in, System.out, 4096, false);
IOUtils.closeStream(in);
}
}
10:jar包问题,很多人,将我上面的代码拷贝到自己的eclipse中,发现缺少了jar,然后问题来了,我们需要导入哪些jar包呢?
我的建议是初学者安装hadoop-eclipse-plugins-2.7.3.jar插件,这个插件网上可以下载,安装后,可以直接右键新建Map/Reduce工程,自动帮我们导入hadoop开发需要的相关jar包,这样就不存在ClassNotFound异常了。