虚拟机Ubuntu下Hadoop2.6.1的安装和配置(伪分布式)

原创 2015年11月19日 08:50:10

安装前提:因本人是在虚拟机中安装的Hadoop,故在此主要讲解的是虚拟机中的安装,本文默认已安装好VM和Ubuntu。我使用的是VMware-workstation-full-11.0.0-2305329和ubuntukylin-14.04.2-desktop-i386,其中配置如下图


一、安装VMwareTools

安装了VMware Tools后,可以在宿主机和虚拟机之间直接拷贝文件。

先运行命令   sudo apt-get install build-essential
然后选择“安装VMware Tools”


就会弹出VMWareTools所在的文件夹,然后右键VMWare Tools.tar.gz,copy to到Home目录下。

输入解压命令:tar -xzvf  VMwareTools-9.9.0-2304977.tar.gz


解压完成之后,进入解压目录,进行安装:

cd vmware-tools-distrib

sudo ./vmware-install.pl


安装过程中根据提示不断回车即可。当出现如下界面时,表示安装成功:


然后再重启客户机。VMwareTools即安装完成。


二、安装JDK

本文使用jdk-6u45-linux-i586.bin(现在用的是>=1.7的版本,这里还没有修改)

先将jdk拖到Ubuntu桌面,再在/usr/lib目录下建立文件夹java,然后拷贝jdk到java目录下,先赋予可执行权限,再直接解压进行安装:


等待安装完之后配置环境变量,输入命令:sudo gedit /etc/profile

把下面代码加入到文件末尾(注意路径里面的JAVA_HOME根据个人安装路径而定):

export JAVA_HOME=/usr/lib/java/jdk1.6.0_45 
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH 
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

保存退出之后输入:source/etc/profile 使更改生效,需要再将安装的jdk设置为系统默认的jdk,依次输入以下命令:

sudo update-alternatives --install "/usr/bin/java" "java" "/usr/lib/java/jdk1.6.0_45/bin/java" 300
sudo update-alternatives --install "/usr/bin/javac" "javac" "/usr/lib/java/jdk1.6.0_45/bin//javac" 300
sudo update-alternatives --config java
sudo update-alternatives --config javac

其中前2条命令的数字300前面的那个路径根据个人jdk安装路径而定。

最后输入java-version,若出现版本信息则安装成功。



三、安装Hadoop并配置

 hadoop-2.6.1.tar.gz

先将Hadoop安装文件拖到Ubuntu桌面,再在/usr目录下建立Hadoop文件夹,将hadoop-2.6.1.tar.gz文件直接解压到/usr/hadoop文件夹下。

sudo mkdir/usr/hadoop    //新建文件夹

cd /home/zhong/Desktop

sudo tar -zxvf hadoop-2.6.1.tar.gz -C /usr/hadoop   //解压


解压之后需要配置环境变量,运行命令: sudo gedit  /etc/profile

添加如下内容(注意HADOOPHOME是自己的hadoop-2.6.1.tar.gz文件解压所在路径):

export  HADOOPHOME=/usr/hadoop/hadoop-2.6.1
export  PATH=$HADOOPHOME/bin:$PATH
然后需要更改hadoop文件夹的所属者,将所属者赋予当前用户,输入下面这个条命令(若不操作,集群运行时会提示权限不够)

sudo chown -hR zhong /usr/hadoop
其中zhong表示当前的用户名,/usr/hadoop/表示要修改的文件夹

 

接下来需要配置/usr/hadoop/hadoop-2.6.1/etc/hadoop/hadoop-env.sh文件:

在该文件中添加内容:

export JAVA_HOME=/usr/lib/java/jdk1.6.0_45

再接下来需要修改/usr/hadoop/hadoop-2.6.1/etc/hadoop/目录下四个文件

  • core-site.xml文件

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

  • hdfs-site.xml文件

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

  • 将mapred-site.xml.template复制一份后改为mapred-site.xml,并修改

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

  • yarn-site.xml文件

<configuration>

    <property>

       <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

    </property>

</configuration>


四、开启ssh并配置无密码验证登录(连网配置)

依次输入命令

sudo apt-get install ssh

sudo apt-get install rsync

为ssh设置免密码登录和设置权限,依次输入下面几条命令:

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 700 ~/.ssh
chmod 644 ~/.ssh/authorized_keys

完成之后再输入ssh localhost命令,若不需要输入密码的话怎配置ssh免密码登录成功。

若出现以下问题


选择“yes”回车即可。再输入ssh localhost验证。

查看ssh服务是否启动命令:sudo ps -e | grep ssh

若结果中有sshd则说明已启动,若没有可输入命令 :sudo service ssh start 


五、Hadoop开启与测试

现在就可以启动hadoop集群了:

进入Hadoop安装目录/usr/hadop/hadoop-2.6.1命令下,

先输入格式化命令:bin/hdfs namenode -format  (中间如有选择,则选“y”并继续)

启动集群命令:sbin/start-yarn.sh

出现如下页面即为成功


可用jps命令查看结果


可用命令:sbin/stop-yarn.sh   关闭集群


验证:浏览器中输入地址http://localhost:8088/可得



安装hadoop2.6.1集群

1. 安装JDK http://blog.csdn.net/u013619834/article/details/38894649 2. 安装zookeeper集群(这里使用192.168.1.12...
  • u013619834
  • u013619834
  • 2015年06月23日 01:09
  • 640

Hadoop单机、伪分布式集群搭建(十分详细)

要搭建Hadoop HA集群请戳这 今天终于把老师布置的项目做完了,闲来无事在机房的电脑上装了Ubuntu(用EasyBCD步骤非常简单,请自行百度),上学期在虚拟机上装了Hadoop,现在可以在实...
  • Dr_Guo
  • Dr_Guo
  • 2016年11月25日 17:15
  • 9810

Ubuntu14.04下hadoop-2.6.0单机配置和伪分布式配置

Ubuntu14.04下hadoop-2.6.0单机配置和伪分布式配置
  • ggz631047367
  • ggz631047367
  • 2015年01月05日 18:44
  • 27975

虚拟机Ubuntu下Hadoop2.6.1的安装和配置(完全分布式)

本篇文章是在上一篇的的基础上所写,前文已经详细讲解了在怎样配置单机伪分布式的Hadoop,本文着重于完全分布式的配置。此次Hadoop的配置主要是参考了官网及网络上一些教程总结而来,如有错误,多谢指点...
  • yuzhuzhong
  • yuzhuzhong
  • 2015年11月23日 20:14
  • 1091

基于Ubuntu14.04的Hadoop2.6.0完全分布式安装

**//到底怎么安装完全完全分布Hadoop**/最近正在准备一个云计算&&大数据的比赛,需要配置Hadoop,然而并没有找到一个可以完全走流程的Hadoop安装教程,So,准备自己边学边写一个,不知...
  • mouse_ts
  • mouse_ts
  • 2015年11月25日 17:58
  • 1295

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

Hadoop单节点伪分布式安装配置,转载自:http://www.powerxing.com/install-hadoop/ 环境 本教程使用 Ubuntu 14.04 64位 作为系统环...
  • u012340794
  • u012340794
  • 2016年07月12日 21:26
  • 611

虚拟机Ubuntu下Hadoop2.6.1的安装和配置(伪分布式)

安装前提:因本人是在虚拟机中安装的Hadoop,故在此主要讲解的是虚拟机中的安装,本文默认已安装好VM和Ubuntu。我使用的是VMware-workstation-full-11.0.0-23053...
  • yuzhuzhong
  • yuzhuzhong
  • 2015年11月19日 08:50
  • 1489

zookeeper的安装与配置(单机与伪分布式)

1、基本环境 Ubuntu15.10 jdk1.7 2、单机模式的安装与配置 下载zookeeper的tar包 http://www-eu.apache.org/dist/zookeeper/ 解压安...
  • u010255818
  • u010255818
  • 2016年07月06日 21:51
  • 565

Ubuntu16.04下伪分布式环境搭建之hadoop2.6.0、jdk1.7、Hbase0.98的安装与配置

Ubuntu16.04下伪分布式环境搭建之hadoop2.6.0、jdk1.7、Hbase0.98的安装与配置
  • Mr_KkTian
  • Mr_KkTian
  • 2017年03月21日 12:17
  • 2524

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

http://www.powerxing.com/install-hadoop/
  • yuan061112
  • yuan061112
  • 2017年01月03日 20:08
  • 268
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:虚拟机Ubuntu下Hadoop2.6.1的安装和配置(伪分布式)
举报原因:
原因补充:

(最多只允许输入30个字)