学习hadoop有一个星期了，先是看了看书，hadoop权威指南，很不错的入门级教材。

书的内容偏向于基础原理，多读几遍会收获很多。

本人菜鸟一只，为了把自己的学习心得分享给大家，就在此开始记录一下，希望大神们批评指点，好吧，主题开始：

hadoop 伪分布模式

操作系统：Centos6.2

JDK：jdk1.6.0_30

hadoop版本：hadoop-0.20.203.0

--建议不在root下操作，可以新建hadoop用户和组

1.安装JDK环境

--在/usr/java/目录下解压并安装，安装好之后配置一下环境变量PATH

--vi或者gedit /etc/profile 在最后添加java环境

----export JAVA_HOME=/usr/java/jdk1.6.0_30

----export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

----export PATH=$PATH:$JAVA_HOME/bin

--环境配置好之后，在终端里输入java -version ，出现版本信息则表示成功，否则可能是环境路径配置有误，请仔细检查。

2.ssh验证配置

--Hadoop 需要使用SSH 协议，namenode 将使用SSH 协议启动 namenode和datanode 进程，伪分布式模式数据节点和名称节点均是本身，必须配置 SSH localhost验证。

--验证步骤有提示就按回车

----$ssh-keygen -t  rsa

有提示就按回车 然后通过命令行cd .ssh进入目录  执行下面的命令，就会设置好无密码登录了

----$cat id_rsa.pub > authorized_keys

3.host主机的设置

127.0.0.1 localhost.localdomain localhost

::1 localhost6.localhostdomain6 localhost6

127.0.0.1 namenode datanode01

4.hadoop安装与配置

--在用户目录下解压hadoop并进行配置

----在conf目下找到hadoop-env.sh，打开编辑器添加下面的jdk安装路径

#set java env

export JAVA_HOME=/usr/java/jdk1.6.0_30

 --/conf/配置core-site.xml

 <property>

         <name>fs.default.name</name>

         <value>hdfs://namenode:9000/</value>

   </property>

   <property>

     <name>hadoop.tmp.dir</name>

     <value>/home/hadoop/hadooptmp</value>

   </property>

-- 配置hdfs-site.xml

<property>

     <name>dfs.name.dir</name>

     <value>/home/hadoop/hdfs/name</value>

  </property>

  <property>

     <name>dfs.data.dir</name>

     <value>/home/hadoop/hdfs/data</value>

  </property>

     <property>

         <name>dfs.replication</name>

         <value>1</value>

     </property>

--配置mapred-site.xml

   <property>

         <name>mapred.job.tracker</name>

         <value>namenode:9001</value>

     </property>

--配置master，slaves文件

vi master 内容修改为 namenode

vi slaves 内容修改为 datanode01

hadoop伪分布模式算是基本配置好，然后测试一下吧

hadoop namenoede -format 格式化一下

./start-all.sh 启动所有守护进程

然后jps一下 会看到下面的内容

6179 JobTracker

6296 TaskTracker

6367 Jps

5883 NameNode

6002 DataNode

6111 SecondaryNameNode

这样才算是真正跑起来了     

大家快来试试吧！

 

文章比较简略，我也是配置了大半天才成功，现在正在研究Hbase+Hive，就写到这吧。