很久没更新blog了,今天回顾下去年对hadoop的探索
第一步:安装cygwin,运行在window上的Unix模拟软件
在https://cygwin.com/install.html下载cygwin软件。
Net Catagory:openssl, openssh
Base Category:sed
Devel Category:subversion
安装完成:
第二步:安装Hadoop
最新版2.7下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz。下载下来解压放在cygwin的/hadoop下。
第一步 需要修改 cnf/hadoop_env.sh
添加 export JAVA_HOME=jdk路径
第二步 修改mapred-site.xml文件
<configuration>
<name>mapreduce.frameword.name</name>
<value>yarn</value>
</configuration>
第三步 修改配置文件yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</configuration>
第四步 启动yarn