Hadoop mac 2.8.4的开发环境搭建

本文介绍了在Mac上搭建Hadoop 2.8.4开发环境的步骤,包括Java环境安装、下载hadoop二进制版本、解压配置、设置环境变量,并详细说明了配置core-site.xml、hdfs-site.xml、mapred-site.xml和Yarn-site.xml的过程,以及解决启动过程中遇到的常见问题。
摘要由CSDN通过智能技术生成

1.java环境安装

网上搜索
JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_171.jdk/Contents/Home

2.下载hadoop2.8.4 binary版本

下载地址:hadoop2.8.4

3.解压文件

$ tar -zxvf hadoop-2.8.0.tar.gz

4.配置hadoop环境变量

4.1 bash_profile文件

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_171.jdk/Contents/Home
export HADOOP_HOME=//Users/yujia/Documents/hadoop/hadoop-2.8.4
export PATH=$PATH:/usr/local/mysql/bin:$HADOOP_HOME/bin:$JAVA_HOME/bin
source ~/.bash_profile

hadoop是否安装成功

$ hadoop version

--显示如下内容:
Hadoop 2.8.4
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 17e75c2a11685af3e043aa5e604dc831e5b14674
Compiled by jdu on 2018-05-08T02:50Z
Compiled with protoc 2.5.0
From source with checksum b02a59bb17646783210e979bea443b0
This command was run using /Users/yujia/Documents/hadoop/hadoop-2.8.4/share/hadoop/common/hadoop-common-2.8.4.jar

4.2 配置core-site.xml ——(defaultFS)指定了NameNode的主机名与端口


<?xmlversion="1.0" encoding="UTF-8"?>  
<configuration>
     <!-- fs.defaultFS - 这是一个描述集群中NameNode结点的URI(包括协议、主机名称、端口号),集群里面的每一台机器都需要知道NameNode的地址。
     DataNode结点会先在NameNode上注册,这样它们的数据才可以被使用。独立的客户端程序通过这个URI跟DataNode交互,以取得文件的块列表。-->
    <property>  
       <name>fs.defaultFS</name> 
       <value>hdfs://localhost:8000</value>  
    </property>  

     <!-- hadoop.tmp.dir 是hadoop文件系统依赖的基础配置,很多路径都依赖它。
     如果hdfs-site.xml中不配置namenode和datanode的存放位置,默认就放在这个路径中-->
    <property>  
       <name>hadoop.tmp.dir</name> 
       <value>/Users/time/Documents/hadoop-2.7.3/tmp</value>  
        <description>A base for othertemporary directories.</description> 
    </property> 
</configuration>

4.3 配置hdfs-site.xml——指定了HDFS的默认参数副本数


<?xmlversion="1.0" encoding="UTF-8"?>  
<configuration>  
     <!-- dfs.replication -它决定着 系统里面的文件块的数据备份个数。对于一个实际的应用,它应该被设为3。
     少于三个的备份,可能会影响到数据的可靠性-->
        <property>
          <name>dfs.replication</name>
           <value>1</value>
        </property>

        <!-- datanaode和namenode的物理存储,如果不设置,它的值hadoop.tmp.dir-->
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/home/hdfs/name</value>
        </property>

        <!-- 可以不设置,namenode的Web 监控 端口,默认是0.0.0.0:50070-->
        <property>
            <name>dfs.namenode.http-address</name>
             <value>localhost:57000</value>
        </property>

        <property>
          <name>dfs.datanode.data.dir</name>
          <value>file:/home/hdfs/data</value>
        </property>

</configuration>

**注意这里的file
如果配置为: file:/path/a/c,则具体的路径就是: /path/a/c
如果配置为:file://path/a/c,则具体的路径就是: /a/c**

4.4 mapred-site.xml配置

$ cp mapred-site.xml.template mapred-site.xml

<property>  
        <name>mapreduce.framework.name</name>  
        <value>yarn</value>  
</property>

4.5 Yarn-site.xml 配置

<?xmlversion="1.0"?> 
 <configuration> 

  <!-- resourcemanager --> 
  <!-- client visit address -->
  <property> 
  <name>yarn.resourcemanager.address</name>
  <value>localhost:18040</value> 
  </property> 

  <!-- ApplicationMaster visit address-->
  <property> 
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>localhost:18030</value> 
  </property> 

  <!-- NodeManager visit address -->
  <property> 
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value> localhost:18025</value> 
  </property> 

  <!-- web visit address -->
  <property> 
  <name>yarn.resourcemanager.webapp.address</name>
  <value>localhost:18088</value> 
  </property> 

  <!-- NodeManager support mapreduce service--> 
  <property> 
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value> 
  </property> 
 </configuration>

5.格式化namenode
$ hadoop namenode -format
问题一:碰到找不到java_home的情况
在hadoop安装路径下,进入hadoop/etc/hadoop/目录并编辑hadoop-env.sh,修改JAVA_HOME为JAVA的安装路径
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_171.jdk/Contents/Home

然后执行hadoop namenode -format
问题二:需要输入多次的密码

6.启动hadoop
./sbin/start-all.sh

7.web测试
我们也可以通过浏览器查看hadoop的详细信息,打开链接:

http://localhost:57000/

参考文档:
实战CentOS系统部署Hadoop集群服务
如何在CentOS 7上修改主机名hostname

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值