Hadoop分布式安装02

原创 2015年11月17日 16:50:37

安装JDK1.7

首先下载JDK
然后进入下载的文件夹中进行解压

 gzip -dc jdk-7u79-linux-x64.tar.gz  | tar xf -

然后将解压好的文件 jdk1.7.0_79

mv jdk1.7.0_79 /usr/lib/jvm

我放到了/usr/lib/jvm下面

然后将java添加到环境变量

vim /etc/profile

在文件的末尾添加如下内容:

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79
export PATH=$PATH:$JAVA_HOME/bin

设置好配置然后刷新

source /etc/profile

然后输入java -version 就可以看到最新的版本。JDK的安装就完成了。

下面将进行Hadoop2.7.1的安装

首先在根目录下建立一个目录hadoop

mkdir /hadoop

然后进入/home下的Downloads文件中,将hadoop-2.7.1.tar.gz进行解压到创建的hadoop目录下

tar -zxvf hadoop-2.7.1.tar.gz -C /hadoop/

然后进行执行。完成了解压。

再下面进行Hadoop的配置。

第一个配置 hadoop-env.sh

这个文件在hadoop解压文件中的etc/hadoop中进行配置

vim hadoop-env.sh

进入后找到export JAVA_HOME=JAVAHOME{JAVA_HOME}改成/usr/lib/jvm/jdk1.7.0_79
然后:wq 保存退出。

第二个要修改core-site.xml

vim core-site.xml

修改内部的配置

<configuration>
<!-- **用来指定HDFS的老大(NameNode)的地址** -->
    <property>
            <name>fs.defaultFS</name>
            <!--**这里可以用hostname也可以用IP地址来进行指定** -->
            <value>hdfs://192.168.0.100:9000</value>
    </property>
    <!-- 用来指定hadoop运行时产生文件的存放目录 -->
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/hadoop/hadoop-2.7.1/tmp</value>
    </property>

第三个要配置的是hdfs-site.xml

vim hdfs-site.xml

修改当中的内容

<configuration>
<!-- 指定HDFS保存数据副本的数量 -->
    <property>
            <name>dfs.replication</name>
    <!-- 一般伪分布式是1,分布式集群是3,其中包括本身和副本一共3份 -->
            <value>2</value>
    </property>
</configuration>

:wq进行保存。

第四个要配置的是mapred-site.xml
ls之后发现没有这个文件,但是有mapred-site.xml.template

mv mapred-site.xml.template  mapred-site.xml

执行后就存在我们需要的mapred-site.xml文件了。
然后进行配置

vim mapred-site.xml

<configuration>
<!-- 告诉hadoop以后MR运行在YARN上 -->
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
 </configuration>

第五个配置文件 yarn-site.xml

vim yarn-site.xml

配置其中的文件

<configuration>
 <!-- Site specific YARN configuration properties NodeManager获取数据的方式是shuffle -->
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定YARN的老大(ResourceManager)的地址 -->
    <property>
            <name>yarn.resourcemanager.hostname</name>
            <!-- 这里也可以输入IP也可以是hostname -->
            <value>hadoop01</value>
    </property>
</configuration>

:wq进行保存。

r

版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

Hadoop分布式安装02

安装JDK1.7首先下载JDK 然后进入下载的文件夹中进行解压 gzip -dc jdk-7u79-linux-x64.tar.gz | tar xf - 然后将解压好的文件 jdk1.7.0_7...

安装分布式hadoop

看过网上多篇教程,结合自身实际进行的总结 环境准备: centos7.2 系统 步骤:         一.安装kvm         二.使用l...

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

分布式安装Hadoop

1.配置hosts文件 所有的节点都修改/etc/hosts,使彼此之间都能把主机名解析为ip 2.建立专门的运行hadoop的用户 比如新增用户:grid,密码设为:123456 3.配...

Hadoop分布式安装

一、安装准备         1、下载hadoop,地址:http://hadoop.apache.org/,下载相应版本         2、下载JDK版本:Hadoop只支持1.6以上...

hadoop伪分布式安装

虚拟机下hadoop伪分布式安装

Hadoop分布式安装03

进行Hadoop的安装和配置第一步 建立一个文件 mkdir /hadoop 进入下载的hadoop-2.7.1.tar.gz的文件中进行解压,解压到建立的文件夹中去tar -zxvf hadoop...

伪分布式Hadoop安装

保持linux联网状态。 -------------------------------------------------------- 设置操作系统环境 1.设置ip地址vim   右键主...

Hadoop伪分布式安装

安装hadoop在hadoop学习里面是最为基本最基础的一件事,我们不能把大多时间消耗在安装平台这一步骤上,我现在介绍下如何快速准确搭建好hadoop平台,我在后面附上搭建平台所需要的软件下载地址。

hadoop 分布式安装

环境 vmware 三台Linux64位虚拟机 jdk1.8 hadoop2.7 ssh 步骤配置hosts和hostnamehosts中添加192.168.179.129 master 19...

hadoop-2.2.0 分布式安装

hadoop安装包:hadoop-2.2.0.tar.gz 操作系统:     CentOS6.4 jdk版本:      jdk1.7.0_21 1. 配置namenode和datanode   配...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)