Windows环境部署hadoop-2.7.6

1、下载Hadoop:http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.6/ 或:http://archive.apache.org/dist/hadoop/core/

下载winutils:https://github.com/steveloughran/winutils

2、将下载文件解压到本地磁盘:并将文件进行替换

文件放到:D:\BigDataApp\hadoop-2.7.1

对于winutils,找到对应版本,直接解压后把文件丢到D:\BigDataApp\hadoop-2.7.1\bin目录中去,将其中的hadoop.dll在c:/windows/System32下也丢一份;

3、配置环境变量:

添加HADOOP_HOME:D:\BigDataApp\hadoop-2.7.1

PATH中添加%HADOOP_HOME%\bin;

4、配置文件内容:etc\hadoop\core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>   
</configuration>

5、配置文件:mapred-site.xml

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>

6、配置文件:hdfs-site.xml

<configuration>
 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

7、配置文件:yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

8、配置文件:hadoop-env.cmd

将JAVA_HOME用 @rem注释掉,编辑为JAVA_HOME的路径,然后保存;
@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=C:\Java\jdk1.8.0_131

9、运行格式化:运行cmd窗口,进入D:\BigDataApp\hadoop-2.7.1\bin下,执行“hdfs namenode -format”; 

10、启动hadoop:运行cmd窗口,切换到hadoop的sbin目录,执行“start-all.cmd”

或直接执行:D:\BigDataApp\hadoop-2.7.1\sbin\start-all.cmd

11、启动网址进行检测:

网页验证:http://localhost:50070/dfshealth.html#tab-overview

进程验证:D:\BigDataApp\hadoop-2.7.1\sbin  cmd 执行jps 

创建文件,执行文件上传

hadoop fs -mkdir hdfs://localhost:9000/user/
hadoop fs -mkdir hdfs://localhost:9000/user/wcinput
hadoop fs -put D:\\1.txt hdfs://localhost:9000/user/wcinput
hadoop fs -ls hdfs://localhost:9000/user/wcinput


阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/taogumo/article/details/80693292
个人分类: 软件安装
上一篇32位程序2G内存限制的解决方案
下一篇Windows安装Spark-2.2.0
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭