Windows7下搭建本地hadoop开发环境

最新推荐文章于 2022-06-17 14:40:52 发布

斩丶空

最新推荐文章于 2022-06-17 14:40:52 发布

阅读量214

点赞数

文章标签：大数据 hadoop

本文链接：https://blog.csdn.net/qq_34330118/article/details/107160654

版权

Windows7下搭建本地hadoop开发环境

hadoop环境变量配置

1.之前下载好的Hadoop是一个压缩包，因此直接解压到你的本地目录，我下载的是hadoop-2.7.7版本，解压在E:\hadoop\hadoop-2.7.7。
2.开始配置环境变量：打开计算机 –>属性 –>高级系统设置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME：
在这里插入图片描述
3.Path环境变量下配置【%HADOOP_HOME%\bin;】变量

配置hadoop文件

1.编辑“E:\hadoop\hadoop-2.7.7\etc\hadoop”下的core-site.xml文件，将下列文本粘贴进去，并保存。

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/E:/hadoop/workplace/tmp</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/E:/hadoop/workplace/name</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2.编辑“E:\hadoop\hadoop-2.7.7\etc\hadoop”目录下的mapred-site.xml(如果不存在将mapred-site.xml.template重命名为mapred-site.xml)文件，粘贴一下内容并保存。

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

3.编辑“E:\hadoop\hadoop-2.7.7\etc\hadoop”目录下的hdfs-site.xml文件，粘贴以下内容并保存。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/E:/hadoop/workplace/data</value>
    </property>
</configuration>

注意：代码中不要包含中文字符，否则会报错。
4.编辑“E:\hadoop\hadoop-2.7.7\etc\hadoop”目录下的yarn-site.xml文件，粘贴以下内容并保存。

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

5.编辑“E:\hadoop\hadoop-2.7.7\etc\hadoop”目录下的hadoop-env.cmd文件，将JAVA_HOME用 # 注释掉，编辑为JAVA_HOME的路径，然后保存。
在这里插入图片描述
6.替换文件
将前面下载到的工具包hadooponwindows-master.zip解压，将全部bin目录文件替换至hadoop目录下的bin目录。

开始运行

1.运行cmd窗口，执行hdfs namenode -format。
2.运行cmd窗口，切换到hadoop的sbin目录，执行start-all.cmd，它将会启动以下4个进程窗口。
在这里插入图片描述

3.输入jps - 可以查看运行的所有节点。

hadoop自带的web控制台GUI

1.资源管理GUI:http://localhost:8088/；
在这里插入图片描述
2.节点管理GUI：http://localhost:50070/
引用：

https://blog.csdn.net/wangaz521/article/details/79717177?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase