MAC OSX搭建hadoop伪分布式环境

为什么80%的码农都做不了架构师？>>>   

1.  hadoop伪分布式环境搭建，大概分三个步骤：1. java环境配置；2. mac os自身环境设置；3. hadoop环境配置。

    java环境配置这里就不再赘述了。
    2.下面看os自身环境。
这个主要是配置ssh环境。先在terminal里面输入ssh localhost
会有错误提示信息，表示当前用户没有权限。这个多半是系统为安全考虑，默认设置的。更改设置如下：进入system preference --> sharing --> 勾选remote login，并设置allow access for all users。再次输入“ssh localhost"，再输入密码并确认之后，可以看到ssh成功。

    不过这里面还有一个麻烦，就是每次都会要求输入用户密码。《Hadoop实战》提供了一种免登陆的方法。首先，输入
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
ssh-keygen表示生成秘钥；-t表示秘钥类型；-P用于提供密语；-f指定生成的秘钥文件。这个命令在”~/.ssh/“文件夹下创建两个文件id_dsa和id_dsa.pub，是ssh的一对儿私钥和公钥。接下来，将公钥追加到授权的key中去，输入：
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh免登陆设置完成。

    3.安装并运行hadoop
首先下载hadoop，链接是http://download.csdn.net/download/jack5261314/6896011，里面由hadoop的各个版本。这里用的是1.2.1版本
第一个是hadoop-env.sh脚本文件，设置如下环境变量：
export JAVA_HOME=/Library/java/JavaVirtualMachines/jdk1.7.0_71.jdk/Contents/Home   
export HADOOP_INSTALL=/Users/duyunlei/hadoop/tmp   
export PATH=$PATH:$HADOOP_INSTALL/bin
接下来是core-site.xml文件，配置hdfs的地址和端口号，如下：
<configuration>   
    <property>   
        <name>fs.default.name</name>   
        <value>hdfs://localhost:9000</value>   
    </property>   
   <property>  
        <name>hadoop.tmp.dir</name>  
        <value>/Users/duyunlei/hadoop/tmp</value>  
        <description>A base for other temporary directories.</description>  
   </property>
</configuration>

    然后是mapred-site.xml文件，设置map-reduce中jobtracker的地址和端口号，如下：
<configuration>  
  <property>     
    <name>mapred.job.tracker</name>   
    <value>localhost:9001</value>   
  </property> 
</configuration>

    最后是hdfs-site.xml文件，设置hdfs的默认备份方式。默认值是3，在伪分布式系统中，需要修改为1，如下：
 <configuration>  
  <property>     
    <name>dfs.replication</name>   
    <value>1</value>   
  </property> 
</configuration>

    设置总算是完成了，接下来，格式化namenode。在terminal里输入如下命令：
bin/hadoop namenode -format
启动hadoop，输入命令：
bin/start-all.sh
    如果一切正常的话，浏览器输入http://localhost:50030和http://localhost:50070分别看到map-reduce和hdfs的相关信息

转载于:https://my.oschina.net/dyl226/blog/756747