系列简介:
前段时间看了网上一些关于hadoop的文章,其中将hadoop说的神乎其神,之前只知道hadoop使用的是google的MapReduce理论;但是它到底能够完成什么样的事情?相比我们现在使用的技术有什么样的优势?对开发者又有什么样的要求?
带着这些疑问,我开始了hadoop的探索旅程...
为了学习hadoop,那么我们必须要有个hadoop的环境,这篇文章就是为您解决安装hadoop环境的问题;文章中都是我自己亲自试验过的(有的甚至试验了好几遍),因此绝对可靠,如果您在过程中碰到任何问题,欢迎联系我(邮箱:alex.chengxinwen@gmail.com)
操作系统准备:
由于没有多余的机器,因此我使用的是虚拟机;
实体机操作系统:win7
虚拟机软件:VMware Workstation 9.0.0 build-812388
虚拟操作系统:ubuntu-12.04-desktop-amd64
对于ubuntu操作系统的安装,不是本文重点,因此不再描述,请不清楚的同学直接google解决;
系统安装后需要修改ubuntu的源地址
- 首先备份Ubuntu 12.04源列表(备份下当前的源列表,有备无患嘛)
sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup
- 修改更新源,使用gedit工具打开源配置文件
sudo gedit /etc/apt/sources.list
- 在打开的sources.list文件顶端插入下面网易源,经过测试速度比较快,您也可以换其他的源
# 网易源 deb http://mirrors.163.com/ubuntu/ precise main universe restricted multiverse deb-src http://mirrors.163.com/ubuntu/ precise main universe restricted multiverse deb http://mirrors.163.com/ubuntu/ precise-security universe main multiverse restricted deb-src http://mirrors.163.com/ubuntu/ precise-security universe main multiverse restricted deb http://mirrors.163.com/ubuntu/ precise-updates universe main multiverse restricted deb-src http://mirrors.163.com/ubuntu/ precise-updates universe main multiverse restricted
- 更新源列表信息
sudo apt-get update
至此,您就可以享受新源的速度了;比如安装中文语言包等,会比官方源快N倍哦。
安装jdk
- 下载JDK:我选择的是jdk7u15,下载地址为:http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html。下载后文件名 jdk-7u15-linux-x64.tar.gz
- 创建jdk安装目录:
sudo mkdir /opt/java
- 解压:解压下载文件到/opt/java
其中/home/alex/Downloads是本地存放jdk下载文件的地方,您的路径可能不同,请注意修改;sudo tar zxvf /home/alex/Downloads/jdk-7u15-linux-x64.tar.gz -C/opt/java
- 修改环境变量:打开环境变量配置文件
修改后的文件,第1行最后增加了JAVA_HOME,第2~4行是新增的sudo gedit /etc/environment
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:${JAVA_HOME}/bin" JAVA_HOME=/opt/java/jdk1.7.0_04 JRE_HOME=${JAVA_HOME}/jre CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib LC_NUMERIC="zh_CN.UTF-8" LC_TIME="zh_CN.UTF-8" LC_MONETARY="zh_CN.UTF-8" LC_PAPER="zh_CN.UTF-8" LC_IDENTIFICATION="zh_CN.UTF-8" LC_NAME="zh_CN.UTF-8" LC_ADDRESS="zh_CN.UTF-8" LC_TELEPHONE="zh_CN.UTF-8" LC_MEASUREMENT="zh_CN.UTF-8" LANGUAGE="zh_CN:en_US:en" LANG="zh_CN.UTF-8"
- 重新加载.bashrc
source ~/.bashrc
- 添加java的运行命令:到这里后运行 javac, java, 等命令还是不能用,接下来再执行下面命令:
sudo update-alternatives --install /usr/bin/java java /opt/java/jdk1.7.0_15/bin/java 300 sudo update-alternatives --install /usr/bin/javac javac /opt/java/jdk1.7.0_15/bin/javac 300 sudo update-alternatives --install /usr/bin/jar jar /opt/java/jdk1.7.0_15/bin/jar 300 sudo update-alternatives --install /usr/bin/javah javah /opt/java/jdk1.7.0_15/bin/javah 300 sudo update-alternatives --install /usr/bin/javap javap /opt/java/jdk1.7.0_15/bin/javap 300 sudo update-alternatives --install /usr/bin/jps jps /opt/java/jdk1.7.0_15/bin/jps 300
- 测试jdk是否安装成功
如果显示如下信息则表示jdk安装成功java -version
java version "1.7.0_15" Java(TM) SE Runtime Environment (build 1.7.0_15-b03) Java HotSpot(TM) 64-Bit Server VM (build 23.7-b01, mixed mode)
安装免密码ssh
添加hadoop专用用户【可选】
安装hadoop
配置hadoop
运行hadoop自带测试程序