Hadoop分布式安装03

原创 2015年11月17日 20:07:18

进行Hadoop的安装和配置

第一步 建立一个文件

mkdir /hadoop

进入下载的hadoop-2.7.1.tar.gz的文件中进行解压,解压到建立的文件夹中去

tar -zxvf hadoop-2.7.1.tar.gz -C /hadoop/

然后对hadoop进行配置

首先进入hadoop的etc配置文件中

cd /hadoop/hadoop-2.7.1/etc/hadoop

第一个需要配置的 :hadoop-env.sh

vim hadoop-env.sh

配置当中的JAVA_HOME,将${JAVA_HOME}修改成安装的路径

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79 

第二需要配置的是:core-site.xml

vim core-site.xml

然后进行配置

<configuration>
<!-- 用来指定HDFS的老大(NameNode)的地址 这里可以用IP也可以写hostname -->
    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://192.168.0.100:9000</value>
    </property>
    <!-- 用来指定hadoop运行时产生文件的存放目录  -->
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/hadoop/hadoop-2.7.1/tmp</value>
    </property>
 </configuration>

第三个需要配置的文件: hdfs-site.xml

vim hdfs-site.xml   
然后进行配置
这里是进行副本的数量的设置,如果是伪分布式的话副本是1,一般分布式集群默认是3,表示包括文件本身和副本一共的数量是3份。

<configuration>
    <property>
            <name>dfs.replication</name>
            <value>2</value>
    </property>
</configuration>

第四个需要配置的文件:mapred-site.xml

这里没有mapred-site.xml,但是我们有template结尾的,重命名即可。

mv mapred-site.xml.template mapred-site.xml 

然后进行配置
vim mapred-site.xml

<!-- 告诉Hadoop以后MR运行在YARN上 -->
 <configuration>
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
 </configuration>

第五个配置文件:yarn-site.xml

vim yarn-site.xml 
进行配置

<configuration>

<!-- Site specific YARN configuration properties -->
<!-- 告诉NodeManager获取数据的方式是shuffle方式。 -->
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
    <!--  指定YARN的老大(ResourceManager)的地址 -->
    <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop01</value>
    </property>

</configuration>

这样Hadoop的基本配置就完成了。下一步进行测试运行。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

hadoop分布式安装hbase

1 环境软件简介 hadoop2.6   #zookeeper 3.3.6 openSUSE 操作系统 前提:Hadoop 已经安装完毕~ 2 下载hbase  hbase-1.1.10-b...

Hadoop分布式安装

一、安装准备         1、下载hadoop,地址:http://hadoop.apache.org/,下载相应版本         2、下载JDK版本:Hadoop只支持1.6以上...

Hadoop分布式搭建、Hbase安装、Hive安装

Hadoop分布式搭建、Hbase安装、Hive安装 关于hadoop分布式环境的搭建,网上有很多教程,看起来很简单,对着别人的教程一步一步来,但是真的是亲身试了这趟水,才知道这趟水有多深,就算步...

Hadoop分布式集群安装配置教程

hadoop

Hadoop分布式安装步骤

hadoop分布式部署步骤: 第一大步骤:伪分布式安装 1.1 设置ip地址 执行命令 service network restart 验证: ifconfig 1.2 关闭防火墙 执...

Hadoop分布式集群安装配置步骤

之前介绍过Hadoop伪分布式模式的安装配置步骤,现在记录一下分布式集群的安装配置步骤,本文使用3台测试服务器,下面是各服务器的角色:   - node1:NameNode, SecondaryNam...

Hadoop分布式集群安装

转载声明: 本教程转载自:厦门大学数据库实验室 blog Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04 Hadoop集群安装配置教程_Hadoop2....

Hadoop分布式安装01

首先进入Apache Hadoop官网learn about里面有以下提示Apache Hadoop **2.7.1** Apache Hadoop 2.7.1 is a minor release ...

Hadoop分布式安装整理

首先是准备工作 OS ubuntu 14.04 64位 Hadoop 2.7.1 java version "1.7.0_91" 下面进行安装的实际操作由于我本人是菜鸟...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)