Ubuntu安装hadoop
记录本次安装过程,本次安装使用64位Ubuntu14.04,JDK版本为1.8.0_111,hadoop版本为2.6.0。
本篇文章介绍Ubuntu安装hadoop的准备工作,主要包括添加hadoop用户;安装SSH,并配置无密码登录;安装JDK并配置环境变量;安装hadoop。
快速入口链接:
配置hadoop单机环境
Ubuntu配置hadoop伪分布式环境
Ubuntu配置hadoop+eclipse
1) 安装linux虚拟机
本教程使用VMware WorkStationPro,新建Ubuntu虚拟机。更新apt,”sudo apt-get update”,若失败,可以尝试换源。
2)新建用户
创建hadoop用户,并使用/bin/bash作为shell
$sudo useradd hadoop -m hadoop -s /bin/bash
设置密码
$sudo hadoop passwd
记下这里为 hadoop 用户设置的密码,后面使用 hadoop 用户登录时需要用到。
给hadoop用户添加权限,打开“/etc/sudoers”文件
$ sudo gedit /etc/sudoers
给hadoop用户赋予root用户同样的权限。
在$root ALL=(ALL:ALL) ALL下添加如下内容:
$hadoop ALL=(ALL:ALL) ALL
可安装vim,方便编辑,“$sudo apt-get install vim”,也可使用gedit。
3) 安装SSH,并配置无密码登录
可以用“ssh -V”命令查看版本以检测是否linux虚拟机已经安装SSH。
切换到hadoop用户,安装ssh-server。
安装命令为”$sudo apt-get install openssh-server”
“ssh localhost”登录到本机,“exit”退出。
配置无密码登录,并提供权限。
$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
4) 安装JDK并配置环境变量
可以选择安装SunJDK或者是OpenJDK。
在官网下载并解压后配置环境变量,使用”$java -version”测试是否安装成功。点击jdk下载地址。选择同意后的下载界面如下图所示。
将下载的文件解压后安装。进入下载文件的目录,解压命令为“$tar -zxvf jdk-8u111-linux-x64.tar.gz -C /usr/local”,进入解压目录,”$cd /usr/local”,将解压后的文件夹改名为java,“$sudo mv jdk1.8.0_111 java”。
或者直接在命令行输入“$sudo apt-get install openjdk-7-jre openjdk-7-jdk”。
配置环境变量”vim ~/.bashrc”。在文件末尾加上如下所示的代码。
export JAVA_HOME=/usr/local/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
保存并退出。输入“$source ~/.bashrc”,使设置立即生效。
检测java的版本号“$java -version”。
5)安装hadoop
官网下载hadoop
下载“stable”版本,本次下载为“hadoop-2.6.0.tar.gz”,下载后解压到安装目录(解压后的文件为已编译文件,不需要安装),我的安装目录为“/usr/local”,进入“hadoop-2.6.0.tar.gz”的文件夹,解压”$sudo tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local”,并修改文件名为“hadoop”,”$sudo mv hadoop-2.6.0 hadoop”,方便使用,使用“$sudo chown -R hadoop ./hadoop”修改文件权限。测试hadoop是否安装成功
cd /usr/local/hadoop
./bin/hadoop version
下篇文章分享配置hadoop单机环境的经验。
Ubuntu配置hadoop单机+伪分布式环境+eclipse(二)