表明Hadoop初步的搭建安装成功。但是此时仍然不能查看节点等,还需要完成下面步骤。
4,Hadoop在Windows下完整运行需要Windows组件支持,从
https://github.com/steveloughran/winutils
这里下载一个,下载完成后,解压得到若干版本的winutils,我选用2.8.3版本:
然后把上面的bin文件一股脑全部复制到第1步中解压后的hadoop-2.8.3\bin文件夹下面,覆盖原先的bin目录文件下所有文件。
5,创建三个文件夹,namenode,datanode,tmp。如图:
6,把以下4个配置文件全部复制替换掉hadoop\hadoop-2.8.3\etc\hadoop下的文件:
core-site.xml:
<?xml version="1.0" encoding="UTF-8"?>fs.defaultFS
hdfs://localhost:9000
hadoop.tmp.dir
/E:/hadoop/my/tmp
hdfs-site.xml:
<?xml version="1.0" encoding="UTF-8"?>dfs.replication
1
dfs.namenode.name.dir
/E:/hadoop/my/namenode
dfs.datanode.data.dir
/E:/hadoop/my/datanode
mapred-site.xml:
<?xml version="1.0"?>mapreduce.framework.name
yarn
yarn-site.xml:
<?xml version="1.0"?>yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hahoop.mapred.ShuffleHandler
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
技术提升。**
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!