伪分布式hadoop安装的几个问题

关于伪分布式hadoop安装的几个问题

1. 关于单机模式，伪分布式和分布式的区别

1. 单机模式:单机模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。因此一般用来编写程序，测试程序正误。
2. 伪分布式:伪分布模式也是在一台单机上运行，具有模拟的分布式文件系，但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)
3. 分布式:顾名思义，就是在机器集群上进行真正的分布式文件处理

2. 安装hadoop

  建议最好是在Linux系统下安装hadoop，当然也可以在虚拟机下安装。因为我也是新手，我的是安装ubuntu14.04下安装的，所以后面的文章大多是基于这个系统下的。
  安装hadoop，这样的文章网络上有很多，而且江的很是详细，这里就不再赘述了。下面提几个我在安装hadoop为分布式过程的中遇到的几个问题和解决办法    
1. 权限问题
    为了便于进行hadoop开发，以及管理权限问题。所以首先创建专门作为hadoop开发的用户，并赋予其root权限。将下载下来的hadoo安装包安装在/usr/local/目录下，并且文件的所有权赋予hadoop用户。命令chown -R hadoop hadoop-1.2.1,chgrp -R hadoop hadoop-1.2.1.
2. 配置ssh免登陆
 同样网上有很多教程，这里就不再赘述。

3. 修改配置文件

 在单机模式下的Hadoop无需配置，在这种方式下，Hadoop被认为是一个单独的Java进程，这种方式经常用来调试程序。
 伪分布式需要对hadoop进行一些配置。事实上，可以把伪分布式的hadoop当做是自由一个节点群组，在这个群组中，你的电脑即作为主节点，也是分节点，即是namenode，也是datanode，即是JobTracker，也是TaskTracker。伪分布式的配置过程很简单，只需要修改几个文件。在hadoop安装目中的conf文件夹中分别修改core-site.xml,hdfs-site.xml,mapred-site.xml三个文件即可。具体内容修改网上有很多文章，这里不再赘述。

4. 安装完成

   在修改完配置文件后，hadoop安装就已经完成了。接下来只要对namenode进行格式化之后就可以启动hadoop了。
   格式化namenode命令：[hadoop安装目录]/bin/hadoop namenode -format
   接下来输入指令：start-all.sh就可以启动hadoop了。

5. 检查hadoop是否启动成功
有两中方式：
1. 使用jps指令查看：jps指令是显示当前所有java进程pid的命令，如果安装成功会有如下显示：

2. 通过浏览器查看，在浏览器地址栏分别数输入：http://localhost：50070,
http://localhost:50030可以看到如下结果：


这样到此为为止，我们的hadoop就安装好了。