因为本人最近最近一段时间 都在学习Hadoop,接触了比较多的理论,但是想要深入的去学习Hadoop整个平台,那就必须实战的训练,首先第一步,当然是先搭建好一个Hadoop平台为先。但是比较坑爹的是,Hadoop是要求安装在Linux环境下的,在Windows下是不能直接运行的。所以只能在Windows下搞个Cygwin,然后把Hadoop安装包往里面扔了。我对Cygwin的印象一直不是很好,以前用过这个模拟过Linux环境,后来发现总是会出现各种环境上的问题,非常耗时间。所以我猜测,现在我又在上面搭建一个Hadoop平台,也肯定不是一件简单的事件。后来的事实证明,我的确遭遇到了非常多的问题。
首先第一个遇到的问题,就是配置文件上的区别。之前我在网上下载的Hadoop安装版本文件时Hadoop2.0然后,我的安装教程将的是1.0的,里面的配置文件相应的配置文件都没找到。比如,在Hadoop2.0中是没有mapred-site.xml,取而代之的是mapred-site.xml.template文件,所在的目录页不是叫做conf目录,所以,第一点,搭建Hadoop平台,要对准相应的平台进行安装。
2.在配置core-site,hdfs-site,mapreduce-site文件之前,要先安装SSH 服务,因为Hadoop的通信会要求进行SSH认证的,还会生出密钥文件,有了密钥文件,