配置开发者本地hadoop-3.0.0环境

25人阅读 评论(0) 收藏 举报
分类:

1 配置开发者本地hadoop环境

参考网址:https://blog.csdn.net/songhaifengshuaige/article/details/79575308

1.1.下载hadoop3.0.0并配置环境变量

这里写图片描述

1.2.集成支持windows下运行的hadoop的bin

关于winutils:除了Hadoop安装包和JDK外,还要下载的一个第三方工具是名为winutils的一套类库,下载地址:https://github.com/steveloughran/winutils
注意:如果使用是hadoop-3.0.0,也要将winutils中的所有的dll等文件都覆盖到hadoop目录的bin子目录中去。
解压后的winutils目录结构如下:
这里写图片描述

这里写图片描述
将上面的bin中的内容放到hadoop-3.0.0\bin中

1.3.配置hadoop-env.cmd

关于hadoop的配置,在hadoop目录下的etc/hadoop下找到大量配置文件,文件后缀为sh的是Linux环境用的,cmd的就是windows的脚本,先要配置hadoop-env.cmd,这个文件(笔者电脑上的文件比如:D:\Installed\hadoop-3.0.0\etc\hadoop\hadoop-env.cmd)唯一要配置的地方是:
set JAVA_HOME=D:\Installed\jdk1.8.0_144

注意:
1、 这里的JAVA_HOME地址中不能有空格。否则会报错。
这里写图片描述

1.4.配置core-site.xml

文件位置:D:\Installed\hadoop-3.0.0\etc\hadoop\core-site.xml,配置的文件内容是:

<configuration>
    <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

1.5.配置hdfs-site.xml

该文件是一些与hdfs有关的配置项,这里别忘了预先建立好datanode 和 namenode两个目录,本例中它们在hadoop所在盘符下的本例中他们在hadoop所在盘符下的hadoop/data/dfs/目录下。修改D:\Installed\hadoop-3.0.0\etc\hadoop\hdfs-site.xml。具体内容是:

<configuration>
    <!-- 这个参数设置为1,因为是单机版hadoop -->  
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
     <name>dfs.permissions</name>
     <value>false</value>
  </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/D:/Installed/hadoop-3.0.0/data/namenode</value>
   </property>
   <property>
        <name>fs.checkpoint.dir</name>
        <value>/D:/Installed/hadoop-3.0.0/data/snn</value>
    </property>
    <property>
        <name>fs.checkpoint.edits.dir</name>
        <value>/D:/Installed/hadoop-3.0.0/data/snn</value>
    </property>
       <property>
       <name>dfs.datanode.data.dir</name>
       <value>/D:/Installed/hadoop-3.0.0/data/datanode</value>
   </property>
</configuration>

1.6.配置mapred-site.xml

配置的文件是:D:\Installed\hadoop-3.0.0\etc\hadoop\mapred-site.xml,具体内容是:
<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

1.7.配置yarn-site.xml

配置的文件是:D:\Installed\hadoop-3.0.0\etc\hadoop\yarn-site.xml

<configuration>  
<!-- Site specific YARN configuration properties -->  
    <property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
   </property>  
   <property>  
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>    
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
   </property>  
</configuration>

1.8.运行hadoop

以管理员方式打开cmd,运行hadoop:
cd D:\Installed\hadoop-3.0.0\bin  (或者:进入hadoop的这个bin目录,然后按着shift + 右键,点击在此处打开命令,然后弹出cmd窗口)
hadoop namenode –format    #一定要先格式化hdfs

执行之后的效果是:
这里写图片描述
执行完成之后,在D盘下出现:
这里写图片描述
说明已经初始化完成了

启动dfs和yarn,命令:

cd D:\Installed\hadoop-3.0.0\sbin

start-dfs.cmd   #先启动dfs
start-yarn.cmd  #再启动yarn

start-all.cmd  #等于上面两条命令的组合  

stop-dfs.cmd
stop-yarn.cmd

运行完成之后,访问地址:http://localhost:8088/
这里写图片描述

访问:http://localhost:9870/dfshealth.html#tab-overview
这里写图片描述

查看评论

微信公众号本地环境搭建(解决微信接口需要公网地址,但是只有本地环境的问题)

目前移动开发处于比较火的的趋势,很多的开发者都跃跃欲试,目前移动App开发领域主要分为以下几种类型      我在平时的工作中接触得比较多的就是基于Android的Native App开发和基于微...
  • chaopioneer
  • chaopioneer
  • 2018-01-08 17:22:13
  • 56

微信搭建本地开发测试环境

准备工作1.ngrok,微信的接口有一些是被动的接收从微信服务器发送的消息的,所以需要提供一个域名给微信服务器,ngrok可以将本机的指定端口,映射到一个域名。花生壳什么的也可以。 2.微信web开...
  • chen517611641
  • chen517611641
  • 2016-09-06 16:07:59
  • 2971

Hadoop-3.0.0测试(单机)环境搭建

下载hadoop-3.0.0解压到本地(基于jdk-1.8开发,jdk-1.7已停止更新) http://www-us.apache.org/dist/hadoop/common/hadoop-3....
  • superman_xxx
  • superman_xxx
  • 2016-10-14 16:27:43
  • 2179

本地同时配置PHP、ASP调试环境

  • 2014年06月23日 19:34
  • 190KB
  • 下载

hadoop-3.0.0集群环境搭建、配置

12月13日hadoop-3.0.0发布正式版啦,试试最新的 Release Notes:Minimum required Java version increased from Java ...
  • cc1949
  • cc1949
  • 2017-12-18 20:24:57
  • 2159

本地环境配置

本地环境配置 网站软件简介 静态网站简介 动态网站简介 web服务器简介 IIS环境搭建 IIS简介 IIS安装 Wamp环境搭建 Wamp简介 Wamp安装 phpnow安装 Tomcat环境搭建 ...
  • longge0508
  • longge0508
  • 2016-09-24 11:27:17
  • 468

Maven本地环境搭建

Maven本地环境搭建      转自:http://www.cnblogs.com/quanyongan/archive/2013/04/17/3025971.html 安装 Maven 之前...
  • yueguanyun
  • yueguanyun
  • 2017-02-09 17:27:59
  • 1659

配置本地git环境

安装好git后,直接打开,进行配置。 一、用户配置:$ git config --global user.name "name"//你的用户名 $ git config --global user....
  • qq_39269670
  • qq_39269670
  • 2017-08-02 13:19:45
  • 98

本地开发环境配置Nginx

本地开发环境配置Nginx 目的:前端本地开发环境联调测试服务器上的后端,Cookie不能跨域问题 Mac系统 1.安装Nginx: brew install nginx安装目录:/usr/loc...
  • u010730458
  • u010730458
  • 2017-04-17 10:37:16
  • 1572

Mac OSX环境下搭建本地服务器

基于XMPP本地服务器开发前,需要安装本地数据库和服务器,下面是前期的一些准备工作。 1.安装MySQL 下载Mac版MySQL,http://www.mysql.com/downloads/,安...
  • gyj329783568
  • gyj329783568
  • 2015-11-13 08:51:07
  • 1168
    个人资料
    专栏达人 持之以恒
    等级:
    访问量: 252万+
    积分: 3万+
    排名: 152
    文章分类
    博客专栏
    在线文档
    QT官网