Hadoop分布式安装02

原创 2015年11月17日 16:50:37

安装JDK1.7

首先下载JDK
然后进入下载的文件夹中进行解压

 gzip -dc jdk-7u79-linux-x64.tar.gz  | tar xf -

然后将解压好的文件 jdk1.7.0_79

mv jdk1.7.0_79 /usr/lib/jvm

我放到了/usr/lib/jvm下面

然后将java添加到环境变量

vim /etc/profile

在文件的末尾添加如下内容:

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79
export PATH=$PATH:$JAVA_HOME/bin

设置好配置然后刷新

source /etc/profile

然后输入java -version 就可以看到最新的版本。JDK的安装就完成了。

下面将进行Hadoop2.7.1的安装

首先在根目录下建立一个目录hadoop

mkdir /hadoop

然后进入/home下的Downloads文件中,将hadoop-2.7.1.tar.gz进行解压到创建的hadoop目录下

tar -zxvf hadoop-2.7.1.tar.gz -C /hadoop/

然后进行执行。完成了解压。

再下面进行Hadoop的配置。

第一个配置 hadoop-env.sh

这个文件在hadoop解压文件中的etc/hadoop中进行配置

vim hadoop-env.sh

进入后找到export JAVA_HOME=JAVAHOME{JAVA_HOME}改成/usr/lib/jvm/jdk1.7.0_79
然后:wq 保存退出。

第二个要修改core-site.xml

vim core-site.xml

修改内部的配置

<configuration>
<!-- **用来指定HDFS的老大(NameNode)的地址** -->
    <property>
            <name>fs.defaultFS</name>
            <!--**这里可以用hostname也可以用IP地址来进行指定** -->
            <value>hdfs://192.168.0.100:9000</value>
    </property>
    <!-- 用来指定hadoop运行时产生文件的存放目录 -->
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/hadoop/hadoop-2.7.1/tmp</value>
    </property>

第三个要配置的是hdfs-site.xml

vim hdfs-site.xml

修改当中的内容

<configuration>
<!-- 指定HDFS保存数据副本的数量 -->
    <property>
            <name>dfs.replication</name>
    <!-- 一般伪分布式是1,分布式集群是3,其中包括本身和副本一共3份 -->
            <value>2</value>
    </property>
</configuration>

:wq进行保存。

第四个要配置的是mapred-site.xml
ls之后发现没有这个文件,但是有mapred-site.xml.template

mv mapred-site.xml.template  mapred-site.xml

执行后就存在我们需要的mapred-site.xml文件了。
然后进行配置

vim mapred-site.xml

<configuration>
<!-- 告诉hadoop以后MR运行在YARN上 -->
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
 </configuration>

第五个配置文件 yarn-site.xml

vim yarn-site.xml

配置其中的文件

<configuration>
 <!-- Site specific YARN configuration properties NodeManager获取数据的方式是shuffle -->
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定YARN的老大(ResourceManager)的地址 -->
    <property>
            <name>yarn.resourcemanager.hostname</name>
            <!-- 这里也可以输入IP也可以是hostname -->
            <value>hadoop01</value>
    </property>
</configuration>

:wq进行保存。

r

版权声明:本文为博主原创文章,未经博主允许不得转载。

Hadoop:Hadoop单机伪分布式的安装和配置

http://blog.csdn.net/pipisorry/article/details/51623195因为lz的linux系统已经安装好了很多开发环境,可能下面的步骤有遗漏。之前是在docke...
  • pipisorry
  • pipisorry
  • 2016年06月10日 19:47
  • 20193

基于Ubuntu14.04的Hadoop2.6.0完全分布式安装

**//到底怎么安装完全完全分布Hadoop**/最近正在准备一个云计算&&大数据的比赛,需要配置Hadoop,然而并没有找到一个可以完全走流程的Hadoop安装教程,So,准备自己边学边写一个,不知...
  • mouse_ts
  • mouse_ts
  • 2015年11月25日 17:58
  • 1251

centos 7下Hadoop 2.7.2 伪分布式安装

centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN。详细步骤如下:...
  • dream_an
  • dream_an
  • 2016年04月03日 09:08
  • 6157

Hadoop分布式模式安装与配置

  • 2014年11月14日 11:28
  • 344KB
  • 下载

hadoop分布式安装hbase

1 环境软件简介 hadoop2.6   #zookeeper 3.3.6 openSUSE 操作系统 前提:Hadoop 已经安装完毕~ 2 下载hbase  hbase-1.1.10-b...
  • beishafengjiang
  • beishafengjiang
  • 2017年05月03日 15:19
  • 179

Hadoop分布式安装

一、安装准备         1、下载hadoop,地址:http://hadoop.apache.org/,下载相应版本         2、下载JDK版本:Hadoop只支持1.6以上...
  • xiaoping8411
  • xiaoping8411
  • 2012年04月02日 19:40
  • 1035

Hadoop分布式搭建、Hbase安装、Hive安装

Hadoop分布式搭建、Hbase安装、Hive安装 关于hadoop分布式环境的搭建,网上有很多教程,看起来很简单,对着别人的教程一步一步来,但是真的是亲身试了这趟水,才知道这趟水有多深,就算步...
  • qq_26620955
  • qq_26620955
  • 2017年02月25日 20:27
  • 285

Hadoop分布式安装步骤

hadoop分布式部署步骤: 第一大步骤:伪分布式安装 1.1 设置ip地址 执行命令 service network restart 验证: ifconfig 1.2 关闭防火墙 执...
  • yifeilzm
  • yifeilzm
  • 2014年10月30日 11:38
  • 217

Hadoop分布式集群安装配置步骤

之前介绍过Hadoop伪分布式模式的安装配置步骤,现在记录一下分布式集群的安装配置步骤,本文使用3台测试服务器,下面是各服务器的角色:   - node1:NameNode, SecondaryNam...
  • gangchengzhong
  • gangchengzhong
  • 2017年02月07日 16:35
  • 773

4.hadoop分布式集群的安装

要想深入的学习hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起来,就是一个had...
  • qfycc92
  • qfycc92
  • 2014年10月08日 12:53
  • 438
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop分布式安装02
举报原因:
原因补充:

(最多只允许输入30个字)