VMware 虚拟机 +安装linux +搭建Hadoop

1、首先下载VMware 虚拟机，VMware Workstation 12.0.0 Pro 正式版下载地址如下：
http://www.qiankoo.com/thread-3990-1-1.html

2、接着下载linux套件，比如说unbutu，稳定的版本推荐12.04
直接在官网下载即可，地址：
http://ubuntu-china.cn/download
找个符合自己的版本，先下载iso文件到本地。

3、安装VMware ，具体的安装就不细讲了，傻瓜式安装，具体教程可参考如下连接：
http://jingyan.baidu.com/article/fcb5aff794bb42edaa4a7115.html

4、安装好后打开VMware，开始创建自己的虚拟机。打开VMware的后会出现主页，点击创建虚拟机。紧接着又是一套傻瓜式创建的过程，其中包括安装的文件位置和选择本地镜像文件需要注意外，其余的都按默认的就可以，创建时间比较慢，可以看个小说等它。具有教程参考如下链接：
http://jingyan.baidu.com/article/676629974f3ac454d51b8437.html

5、成功创建之后，进入linux.未来后面工作方便进行，你需要了解一下常见的linux命令，我都给大家准备好了，参考如下链接：
http://blog.csdn.net/a1b2c3d4123456/article/details/49155029

6、安装一些常用的小工具，比如说
首先要把VMwaretools安装上，要不然没法进行复制粘贴啊！参考教程：
http://blog.csdn.net/a1b2c3d4123456/article/details/49183353
然后安装神器vim：
手动安装：sudo apt-get install vim

7、配置jdk
将jdk下载下来后，放到主文件夹下（复制粘贴），ps:别说你找不到主文件夹！移动到usr/local文件夹下，

sudo cp jdk-7u45-linux-x64.tar.gz/usr/local

然后解压，解压命令如下：

sudo tar zxvf ./jdk-7u45-linux-x64.tar.gz

然后就看到usr/local 文件夹下有一个jdk的文件夹了。
接下来就要配置环境变量了，打开/etc/profile文件。命令如下：

sudo gedit  /etc/profile

添加变量如下：

export JAVA_HOME=/usr/local/jdk1.6.0_30  

export JRE_HOME=/usr/local/jdk1.6.0_30/jre  

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH  

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH   

保存，退出。然后刷新几次，重启虚拟机。
检查jdk是否安装好：

java c;java -version;java

至此jdk就已经配置好了（如果输入java -version有版本信息的话）
8、配置SSH
首先确认电脑连上网了，然后输入指令：

sudo apt-get install ssh

配置为免密码登陆本机，先查看在用户u下是否存在.ssh文件夹,指令为：

ls -a /home/u

如果没有，手动创建一个。
接下来设置秘钥为空。输入指令：

ssh-keygen -t dsa -p '' -f ~/.ssh/id_dsa

把公共秘钥追加到授权的key里面去，输入指令

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

配置完成，检查是否配置成功，输入：

ssh -version

输入：ssh localhost会有相应的提示，说明配置成功

8、安装Hadoop
到官网下载hadoop源文件，这里选择hadoop 1.0.2
解压并放到你希望的目录中。我是放到/usr/local/hadoop

~$ sudo tar xzf hadoop-1.0.2.tar.gz
~$ sudo mv hadoop-1.0.2 /usr/local/hadoop

要确保所有的操作都是在用户hadoop下完成的：

~$ sudo chown -R hadoop:hadoop /usr/local/hadoop

设定hadoop-env.sh(Java 安装路径)
进入hadoop目录，打开conf目录下到hadoop-env.sh，添加以下信息：

 export JAVA_HOME=/usr/local/jdk1.6.0_30  (视你机器的java安装路径而定)
 export HADOOP_HOME=/usr/local/hadoop
 export PATH=$PATH:/usr/local/hadoop/bin

配置hadoop-1.0.2/conf/core-site.xml，命令行：

gedit /usr/local/hadoop/hadoop-1.0.2/conf/core-site.xml

在hadoop新建hadoop_tmp目录,sudo mkdir ~/hadoop_tmp并在core-site.xml进行如下修改：

<configuration>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://localhost:9000</value>
        </property>
    <property>
          <name>hadoop.tmp.dir</name>
          <value>/usr/local/hadoop/hadoop-1.0.2/hadoop_tmp</value>
         <description>A base for other temporary directories.</description>
    </property>
</configuration>

配置hadoop-1.0.2/conf/mapre-site.xml，命令行：

gedit /usr/local/hadoop/hadoop-1.0.2/conf/mapre-site.xml.xml

作如下修改：

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>

配置hadoop-1.0.2/conf/hdfs-site.xml，命令行：

gedit /usr/local/hadoop/hadoop-1.0.2/conf/hdfs-site.xml

做如下修改：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

</configuration>

利用source指令让更改立即生效。
例如：source hadoop-env.sh
至此hadoop的安装配置已经完毕。还需要格式化hdfs文件系统。

bin/hadoop namedode -format

9 启动服务(一定要在Hadoop的目录下！）
有时候启动不了是因为Hadoop安装目录的文件夹用户权限不够。解除权限就可以了：

sudo chown -R user:user hadoop1.2.1

格式是：sudo chown -R 用户名@用户组 目录名

然后再启动：

/bin/start-all.sh

启动完成后，检验一下。
输入jps 若不计jps，有五个hadoop相关线程，恭喜你，hadoop安装配置成功，运行正常。
打开浏览器验证：

http://localhost:50030
http://localhost:50070

可以查看Hadoop的工作情况。
退出：

bin/stop-all.sh

注意：这个是单机模式下的分布式，也就是伪分布式。

完全分布式的参考：

http://www.weixuehao.com/archives/577