虚拟机Ubuntu下Hadoop2.6.1的安装和配置(伪分布式)

原创 2015年11月19日 08:50:10

安装前提:因本人是在虚拟机中安装的Hadoop,故在此主要讲解的是虚拟机中的安装,本文默认已安装好VM和Ubuntu。我使用的是VMware-workstation-full-11.0.0-2305329和ubuntukylin-14.04.2-desktop-i386,其中配置如下图


一、安装VMwareTools

安装了VMware Tools后,可以在宿主机和虚拟机之间直接拷贝文件。

先运行命令   sudo apt-get install build-essential
然后选择“安装VMware Tools”


就会弹出VMWareTools所在的文件夹,然后右键VMWare Tools.tar.gz,copy to到Home目录下。

输入解压命令:tar -xzvf  VMwareTools-9.9.0-2304977.tar.gz


解压完成之后,进入解压目录,进行安装:

cd vmware-tools-distrib

sudo ./vmware-install.pl


安装过程中根据提示不断回车即可。当出现如下界面时,表示安装成功:


然后再重启客户机。VMwareTools即安装完成。


二、安装JDK

本文使用jdk-6u45-linux-i586.bin(现在用的是>=1.7的版本,这里还没有修改)

先将jdk拖到Ubuntu桌面,再在/usr/lib目录下建立文件夹java,然后拷贝jdk到java目录下,先赋予可执行权限,再直接解压进行安装:


等待安装完之后配置环境变量,输入命令:sudo gedit /etc/profile

把下面代码加入到文件末尾(注意路径里面的JAVA_HOME根据个人安装路径而定):

export JAVA_HOME=/usr/lib/java/jdk1.6.0_45 
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH 
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

保存退出之后输入:source/etc/profile 使更改生效,需要再将安装的jdk设置为系统默认的jdk,依次输入以下命令:

sudo update-alternatives --install "/usr/bin/java" "java" "/usr/lib/java/jdk1.6.0_45/bin/java" 300
sudo update-alternatives --install "/usr/bin/javac" "javac" "/usr/lib/java/jdk1.6.0_45/bin//javac" 300
sudo update-alternatives --config java
sudo update-alternatives --config javac

其中前2条命令的数字300前面的那个路径根据个人jdk安装路径而定。

最后输入java-version,若出现版本信息则安装成功。



三、安装Hadoop并配置

 hadoop-2.6.1.tar.gz

先将Hadoop安装文件拖到Ubuntu桌面,再在/usr目录下建立Hadoop文件夹,将hadoop-2.6.1.tar.gz文件直接解压到/usr/hadoop文件夹下。

sudo mkdir/usr/hadoop    //新建文件夹

cd /home/zhong/Desktop

sudo tar -zxvf hadoop-2.6.1.tar.gz -C /usr/hadoop   //解压


解压之后需要配置环境变量,运行命令: sudo gedit  /etc/profile

添加如下内容(注意HADOOPHOME是自己的hadoop-2.6.1.tar.gz文件解压所在路径):

export  HADOOPHOME=/usr/hadoop/hadoop-2.6.1
export  PATH=$HADOOPHOME/bin:$PATH
然后需要更改hadoop文件夹的所属者,将所属者赋予当前用户,输入下面这个条命令(若不操作,集群运行时会提示权限不够)

sudo chown -hR zhong /usr/hadoop
其中zhong表示当前的用户名,/usr/hadoop/表示要修改的文件夹

 

接下来需要配置/usr/hadoop/hadoop-2.6.1/etc/hadoop/hadoop-env.sh文件:

在该文件中添加内容:

export JAVA_HOME=/usr/lib/java/jdk1.6.0_45

再接下来需要修改/usr/hadoop/hadoop-2.6.1/etc/hadoop/目录下四个文件

  • core-site.xml文件

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

  • hdfs-site.xml文件

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

  • 将mapred-site.xml.template复制一份后改为mapred-site.xml,并修改

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

  • yarn-site.xml文件

<configuration>

    <property>

       <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

    </property>

</configuration>


四、开启ssh并配置无密码验证登录(连网配置)

依次输入命令

sudo apt-get install ssh

sudo apt-get install rsync

为ssh设置免密码登录和设置权限,依次输入下面几条命令:

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 700 ~/.ssh
chmod 644 ~/.ssh/authorized_keys

完成之后再输入ssh localhost命令,若不需要输入密码的话怎配置ssh免密码登录成功。

若出现以下问题


选择“yes”回车即可。再输入ssh localhost验证。

查看ssh服务是否启动命令:sudo ps -e | grep ssh

若结果中有sshd则说明已启动,若没有可输入命令 :sudo service ssh start 


五、Hadoop开启与测试

现在就可以启动hadoop集群了:

进入Hadoop安装目录/usr/hadop/hadoop-2.6.1命令下,

先输入格式化命令:bin/hdfs namenode -format  (中间如有选择,则选“y”并继续)

启动集群命令:sbin/start-yarn.sh

出现如下页面即为成功


可用jps命令查看结果


可用命令:sbin/stop-yarn.sh   关闭集群


验证:浏览器中输入地址http://localhost:8088/可得



版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

unity地形编辑扩展插件Landspace Auto Material介绍

LAM是一套针对复杂地形和植物的编辑工具, 增加了一些unity自带地形编辑器没有的功能, 对其用法做一下简单介绍。

关注CSDN程序人生公众号,轻松获得下载积分

关注公众号 在公众号里回复“”秘密“”两个字 返回 http://task.csdn.net/m/task/home?task_id=398 领取奖励 提示:根据公众号里的自动回复,完成...

Android eclipse unable to launch:The selection can not be launched,and there are no recent launches

出现这个问题基本就是两方面的问题: 1:代码问题 没有启动的入口。可以检查有没有缺少static什么的 2:所有代码都启动不了,那就是eclipse 的问题,最大的问题可能就是JDK问题   2.1 ...

Java 数据结构和算法 概述

数据结构 数据结构是对在计算机内存中(有时在磁盘中)的数据的一种安排,数据结构包括数组、链表、栈、二叉树、哈希表等等,算法对这些结构中的数据进行各种处理,例如查找一条特殊的数据或者对数据进行排序。...

目标检测和跟踪小结

一、目标检测目标检测即为从序列图像中将变化区域从背景图像中提取出来。运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测。1.静态背景 背景差分法 帧间差分法 光...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)