从今天开始,除了Spring之外,研究大数据之Hadoop,着手从Hadoop:The Definitive Guide开始入手,先看看中文版的第二版,如果有时间再看看英文版的第三版吧。
1、首先虚拟机架设CentOS 6.5 64位,安装Java 1.8.0(java 8) 64位
2、依次下载书中实例和所需软件
http://hadoopbook.com/里有相关实例和数据下载,实例版本是按照书的版本组织的,有一、二和三版,其中二版使用ant ivy,三版使用maven。
下载软件包括 hadoop2.2.0 ,hbase-0.94.18.tar.gz,pig-0.12.0.tar.gz,zookeeper-3.4.6.tar.gz,sqoop-1.99.3-bin-hadoop200.tar.gz(可选),以及apache-ant-1.9.3-bin.tar.gz,apache-ivy-2.4.0-rc1-bin-with-deps.tar.gz和apache-maven-3.2.1-bin.tar.gz。
3、在CentOS上安装相关软件,需要记住是:ant安装好后,需要将ivy里的jar包拷贝进ant的lib目录下。
分别解压相关软件,在terminal中输入vi /etc/profile,然后按书中说明,键入
export JAVA_HOME=/usr/java/jdk1.8.0
export HADOOP_INSTALL=/usr/hadoop-2.2.0
export ANT_HOME=/usr/ant
export PIG_INSTALL=/usr/pig
export HBASE_INSTALL=/usr/hbase
export HIVE_INSTALL=/usr/hive
export ZOOKEEPER_INSTALL=/usr/zookeeper
export MAVEN_HOME=/usr/maven
export PATH=$PATH:$HADOOP_INSTALL/bin:$ANT_HOME/bin:$PIG_INSTALL/bin:$HBASE_INSTALL/bin:$HIVE_INSTALL/bin:$ZOOKEEPER_INSTALL/bin:$MAVEN_HOME/bin
其中书上的HBASE_HOME改为HBASE_INSTALL。
在terminal中键入source /etc/profile,使得环境变量生效。
4、进入下载的实例目录,按照说明,键入ant jar pig hive hbase,会出现错误,只要依次更改:
(1)build.xml中
<fileset dir="${env.HADOOP_INSTALL}">
<include name="*.jar"/>
<include name="share/hadoop/**/*.jar"/>
</fileset>
将lib/**/*.jar改成share/hadoop/**/*.jar
(2)ch13/src/main/java/HBaseStationCli.java中
get.addColumn(INFO_COLUMNFAMILY,null);
将get.addColumn(INFO_COLUMNFAMILY);临时改为get.addColumn(INFO_COLUMNFAMILY,null);
这里只是临时更改,可以顺利编译,否则会报错,具体内容还需要继续学习才知道这段代码含义。
5、ant时还是有警告信息
You have loaded library /usr/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard.
具体上需要研究,hadoop2.2.0好像本地库(native)是32位的,详看http://blog.csdn.net/bamuta/article/details/13506893
——————————————————————————————————————————————————————————————