Hadoop v2(Yarn)伪集群配置

Hadoop:

1. 安装JDK 1.6以上，Hadoop 2.0.2包。

2. 添加环境变量：

export JAVA_HOME=/usr/lib/jvm/java-7-sun
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

export HADOOP_PREFIX=/home/nachuang/Hadoop/hadoop-2.0.2-alpha

3.修改配置文件：

  1).core-site.xml:

  <configuration>
  <property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:9000</value>
  </property>
  <property>
  <name>hadoop.tmp.dir</name>
  <value>/home/nachuang/Hadoop/hadoop-2.0.2-alpha/tmp</value>
  </property>
  </configuration>

  2).hdfs-site.xml:

  <configuration>
  <property>  
  <name>dfs.name.dir</name>  
  <value>/home/nachuang/Hadoop/hadoop-2.0.2-alpha/datalog1,
                 /home/nachuang/Hadoop/hadoop-2.0.2-alpha/datalog2</value>  
  </property>  
  <property>  
  <name>dfs.data.dir</name>  
  <value>/home/nachuang/Hadoop/hadoop-2.0.2-alpha/data1,
                 /home/nachuang/Hadoop/hadoop-2.0.2-alpha/data2</value>
  </property>  
  <property>  
  <name>dfs.replication</name>  
  <value>1</value>  
  </property>
  </configuration>

Hive:

  只需添加两个环境变量：

  export HADOOP_HOME=$HADOOP_PREFIX

  export HIVE_HOME=/home/nachuang/hive-0.10.0-bin  

在hdfs 启动以后，启动hive 的cli 。默认的配置使用的是derby数据库，创建的表可以在hdfs上看到。