hadoop系列：hadoop集群搭建

系列简介：

    前段时间看了网上一些关于hadoop的文章，其中将hadoop说的神乎其神，之前只知道hadoop使用的是google的MapReduce理论；但是它到底能够完成什么样的事情？相比我们现在使用的技术有什么样的优势？对开发者又有什么样的要求？
带着这些疑问，我开始了hadoop的探索旅程...
为了学习hadoop，那么我们必须要有个hadoop的环境，这篇文章就是为您解决安装hadoop环境的问题；文章中都是我自己亲自试验过的（有的甚至试验了好几遍），因此绝对可靠，如果您在过程中碰到任何问题，欢迎联系我（邮箱：alex.chengxinwen@gmail.com）

 

操作系统准备：

由于没有多余的机器，因此我使用的是虚拟机；
实体机操作系统：win7
虚拟机软件：VMware Workstation 9.0.0 build-812388
虚拟操作系统：ubuntu-12.04-desktop-amd64

对于ubuntu操作系统的安装，不是本文重点，因此不再描述，请不清楚的同学直接google解决；

系统安装后需要修改ubuntu的源地址

1. 首先备份Ubuntu 12.04源列表（备份下当前的源列表，有备无患嘛）

   sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup

2. 修改更新源，使用gedit工具打开源配置文件

   sudo gedit /etc/apt/sources.list

3. 在打开的sources.list文件顶端插入下面网易源，经过测试速度比较快，您也可以换其他的源

   # 网易源
   deb http://mirrors.163.com/ubuntu/ precise main universe restricted multiverse
   deb-src http://mirrors.163.com/ubuntu/ precise main universe restricted multiverse
   deb http://mirrors.163.com/ubuntu/ precise-security universe main multiverse restricted
   deb-src http://mirrors.163.com/ubuntu/ precise-security universe main multiverse restricted
   deb http://mirrors.163.com/ubuntu/ precise-updates universe main multiverse restricted
   deb-src http://mirrors.163.com/ubuntu/ precise-updates universe main multiverse restricted

4. 更新源列表信息

   sudo apt-get update

至此，您就可以享受新源的速度了；比如安装中文语言包等，会比官方源快N倍哦。

安装jdk

1. 下载JDK：我选择的是jdk7u15，下载地址为：http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html。下载后文件名 jdk-7u15-linux-x64.tar.gz
2. 创建jdk安装目录：

   sudo mkdir /opt/java

3. 解压：解压下载文件到/opt/java

   sudo tar zxvf /home/alex/Downloads/jdk-7u15-linux-x64.tar.gz -C/opt/java

   其中/home/alex/Downloads是本地存放jdk下载文件的地方，您的路径可能不同，请注意修改；
   
4. 修改环境变量：打开环境变量配置文件

   sudo gedit /etc/environment

   修改后的文件，第1行最后增加了JAVA_HOME，第2~4行是新增的

   PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:${JAVA_HOME}/bin"
   JAVA_HOME=/opt/java/jdk1.7.0_04
   JRE_HOME=${JAVA_HOME}/jre
   CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
   LC_NUMERIC="zh_CN.UTF-8"
   LC_TIME="zh_CN.UTF-8"
   LC_MONETARY="zh_CN.UTF-8"
   LC_PAPER="zh_CN.UTF-8"
   LC_IDENTIFICATION="zh_CN.UTF-8"
   LC_NAME="zh_CN.UTF-8"
   LC_ADDRESS="zh_CN.UTF-8"
   LC_TELEPHONE="zh_CN.UTF-8"
   LC_MEASUREMENT="zh_CN.UTF-8"
   LANGUAGE="zh_CN:en_US:en"
   LANG="zh_CN.UTF-8"

5. 重新加载.bashrc

   source ~/.bashrc

6. 添加java的运行命令：到这里后运行 javac, java, 等命令还是不能用，接下来再执行下面命令：

7. sudo update-alternatives --install /usr/bin/java java /opt/java/jdk1.7.0_15/bin/java 300 
   sudo update-alternatives --install /usr/bin/javac javac /opt/java/jdk1.7.0_15/bin/javac 300 
   sudo update-alternatives --install /usr/bin/jar jar /opt/java/jdk1.7.0_15/bin/jar 300 
   sudo update-alternatives --install /usr/bin/javah javah /opt/java/jdk1.7.0_15/bin/javah 300 
   sudo update-alternatives --install /usr/bin/javap javap /opt/java/jdk1.7.0_15/bin/javap 300  
   sudo update-alternatives --install /usr/bin/jps jps /opt/java/jdk1.7.0_15/bin/jps 300

8. 测试jdk是否安装成功

9. java -version

   如果显示如下信息则表示jdk安装成功

   java version "1.7.0_15"
   Java(TM) SE Runtime Environment (build 1.7.0_15-b03)
   Java HotSpot(TM) 64-Bit Server VM (build 23.7-b01, mixed mode)

   安装免密码ssh

    

   添加hadoop专用用户【可选】

    

   安装hadoop

    

   配置hadoop

    

   运行hadoop自带测试程序