HADOOP安装过程:
1、 Java、Cygwin、SSH
这里的三个软件的安装过程,可以参考《Hadoop开发者》杂志创刊号中《在Windows 上安装Hadoop教程》,在此不再赘述。
同样,Hadoop 的安装也可以参考《Hadoop 开发者》杂志创刊号中《在Windows上安装Hadoop 教程》一文。但是根据笔者的安装过程,列出以下几点注意:
2、 在配置hadoop-env.sh 中的JAVA_HOME时,Jdk 往往安装在C:\Program Files\文件
夹下,例如:C:\Program Files\Java\jdk1.6.0_01。JAVA_HOME应配置如下:
export JAVA_HOME=/cygdrive/c/Progra~1/Java/jdk1.6.0_01
其中,由于Cygwin 无法识别“Program Files”中间的空格,如果不按照上述设置,则
系统无法找到Jdk 安装目录。
当然,你也可以在Cygwin 的/usr/local 目录下添加一个连接,从而方便配置JAVA_HOME。
例如:
ln -s /cygdrive/c/Program\ Files/Java/jdk1.6.0_01 \
/usr/local/jdk1.6.0_01
export JAVA_HOME=/usr/local/jdk1.6.0_01
3、 在core-site.xml 配置文件中,属性“fs.default.name”的值与《Hadoop开发者》
bbs.hadoopor.com --------hadoop技术论坛创刊号2010 年1月25杂志创刊号中《在Windows上安装Hadoop 教程》一文中的值保持一致,设置为:
“hdfs://localhost:8888”。同样,配置文件mapred-site.xml中的“mapred.job.tracker”
属性值设置为:“localhost:9999”。
HBASE安装过程:
1. HBASE的配置:在文件conf/hbase-env.sh中,添加如下的内容:
a) export JAVA_HOME=/usr/local/<jre name>
b) export HBASE_IDENT_STRING=$HOSTNAME
2. 修改hbase-site.xml 配置文件中的“hbase.rootdir”属性,以及“hbase.tmp.dir”属性,如下所示:
<property>
<name>hbase.rootdir</name>
<value>file:///D:/hadoop/root/tmp/hbase/data</value>
<description>The directory shared by region servers.
Should be fully-qualified to include the filesystem to use.
E.g: hdfs://NAMENODE_SERVER:PORT/HBASE_ROOTDIR
</description>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>D:/hadoop/root/tmp/hbase/tmp</value>
<description>Temporary directory on the local filesystem.</description>
</property>
上述两个红色部分的路径可以更改为本地任何其他路径,但需要先建立好这些路径,注意格式不能更改。对于《Hadoop开发者》中描述的在hdfs上建立rootdir和tmpdir的方法经过测试,不可行。-----后来发现这个可能是因为没有修改下面这个属性:
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>