Hadoop分布式安装03

原创 2015年11月17日 20:07:18

进行Hadoop的安装和配置

第一步 建立一个文件

mkdir /hadoop

进入下载的hadoop-2.7.1.tar.gz的文件中进行解压,解压到建立的文件夹中去

tar -zxvf hadoop-2.7.1.tar.gz -C /hadoop/

然后对hadoop进行配置

首先进入hadoop的etc配置文件中

cd /hadoop/hadoop-2.7.1/etc/hadoop

第一个需要配置的 :hadoop-env.sh

vim hadoop-env.sh

配置当中的JAVA_HOME,将${JAVA_HOME}修改成安装的路径

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79 

第二需要配置的是:core-site.xml

vim core-site.xml

然后进行配置

<configuration>
<!-- 用来指定HDFS的老大(NameNode)的地址 这里可以用IP也可以写hostname -->
    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://192.168.0.100:9000</value>
    </property>
    <!-- 用来指定hadoop运行时产生文件的存放目录  -->
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/hadoop/hadoop-2.7.1/tmp</value>
    </property>
 </configuration>

第三个需要配置的文件: hdfs-site.xml

vim hdfs-site.xml   
然后进行配置
这里是进行副本的数量的设置,如果是伪分布式的话副本是1,一般分布式集群默认是3,表示包括文件本身和副本一共的数量是3份。

<configuration>
    <property>
            <name>dfs.replication</name>
            <value>2</value>
    </property>
</configuration>

第四个需要配置的文件:mapred-site.xml

这里没有mapred-site.xml,但是我们有template结尾的,重命名即可。

mv mapred-site.xml.template mapred-site.xml 

然后进行配置
vim mapred-site.xml

<!-- 告诉Hadoop以后MR运行在YARN上 -->
 <configuration>
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
 </configuration>

第五个配置文件:yarn-site.xml

vim yarn-site.xml 
进行配置

<configuration>

<!-- Site specific YARN configuration properties -->
<!-- 告诉NodeManager获取数据的方式是shuffle方式。 -->
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
    <!--  指定YARN的老大(ResourceManager)的地址 -->
    <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop01</value>
    </property>

</configuration>

这样Hadoop的基本配置就完成了。下一步进行测试运行。

版权声明:本文为博主原创文章,未经博主允许不得转载。

Hadoop:Hadoop单机伪分布式的安装和配置

http://blog.csdn.net/pipisorry/article/details/51623195因为lz的linux系统已经安装好了很多开发环境,可能下面的步骤有遗漏。之前是在docke...
  • pipisorry
  • pipisorry
  • 2016年06月10日 19:47
  • 20260

hadoop2.6.0版本搭建伪分布式环境

由于个人需要在自己的笔记本上搭建hadoop伪分布环境,为了方便自己使用,如想看机器也看之前的一篇博客:hadoop2.6版本集群环境搭建...
  • stark_summer
  • stark_summer
  • 2015年02月06日 15:56
  • 47155

Hadoop伪分布式-----Spark的安装和配置

在前面几章已经搭建好Hadoop环境,本节主要介绍在Hadoop基础上搭建Spark平台 1 下载所需安装包 1)下载spark安装包      2)下载Scala安装包,并解压安装包本例以下面版...
  • u012535605
  • u012535605
  • 2017年03月30日 20:27
  • 446

centos 7下Hadoop 2.7.2 伪分布式安装

centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN。详细步骤如下:...
  • dream_an
  • dream_an
  • 2016年04月03日 09:08
  • 6173

Mac下hadoop2.7 伪分布式安装

一。MAC OS下的JDK安装及其路径 1、首先安装jdk,直接百度或者Google搜索就有MAC版本的jdk,本实验环境是jdk1.8.0_66.jdk,Hadoop的安装也必须在jdk 1.6版...
  • u013475704
  • u013475704
  • 2017年02月09日 10:58
  • 929

Ubuntu16.04上搭建Hadoop2.7.2的单机模式和伪分布式模式

hadoop的单机模式和伪分布式模式可以说是学习hadoop的入门搭建环境,主要通过简单环境的搭建,对hadoop的MapReduce和HDFS有一个基础的认识。为分布式集群的搭建和学习起到引领的作用...
  • monkeys2012
  • monkeys2012
  • 2016年07月20日 21:54
  • 2202

mac安装hadoop伪分布式

杜伟 目录一、 下载jdk 1 二、 配置hadoop 1 三、 配置ssh,无密码登录 2 四、 启动hadoop 3 五、 环境配置 4一、 下载jdk 选择最新版本下载,地址...
  • u013673245
  • u013673245
  • 2015年10月22日 11:06
  • 1659

CentOS下安装伪分布式Hadoop-1.2.1

hadoop安装
  • yinan9
  • yinan9
  • 2013年11月18日 16:27
  • 6772

Ubuntu14.04全分布式安装hadoop2.7.2(四)全分布式安装

前文回顾:三台电脑,一台做主机,两台做从机。主机名分别是 master,slave1,slave2,ip分别是192.168.235.1~3 系统:ubuntu14.04 jdk:1.8....
  • ycisacat
  • ycisacat
  • 2016年11月24日 21:01
  • 1367

Hadoop三种安装模式:单机模式,伪分布式,真正分布式

Hadoop三种安装模式:单机模式,伪分布式,真正分布式 一 单机模式standalone 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装...
  • vbskj
  • vbskj
  • 2015年07月04日 08:53
  • 6922
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop分布式安装03
举报原因:
原因补充:

(最多只允许输入30个字)