hadoop环境安装随笔

在Hadoop安装过程中还是遇到很多障碍的，为了以后能够快速回忆起来，就写个日志供以后参考。

1、hadoop的环境搭建

首先是Hadoop 1.0的环境搭建，并没有遇到什么大的障碍，主要是环境搭建之前的准备工作。

1）静态IP地址的配置

2）多台机器通过SSH免密登录

1.0版本搭建完之后，由于技术早就过时了，所以着手hadoop 2.0的搭建，根据视频教程，我使用的

是cdh提供的hadoop安装包，不过在启动的时候提示库不存在，最后发现cdh安装包中是没有库的，

要去相同版本中拿。

2、hive环境搭建

hive搭建过程中也没有遇到什么大的问题，首先就是配置文件（Hive-env.sh、hive-site.sh)，然后是

需要将 jdbc驱动包放到hive目录中来的。并且hive也是用到数据库的，所以就安装了一个mysql数据库，

不过mysql在安装过程中也遇到点小麻烦，因为mysql被Oracle公司收购了，所以安装的时候有时候没

法搜索的到，最后就安装的社区版的，不过用起来不受任何影响。

3、Spark环境搭建

刚开始也是使用的cdh提供的spark 1.6版本的包，不过却有各种报错，网上推荐的是使用源码编译。源

码编译成功后却不能下载cdh的依赖包，将访问地址https改为http之后能够访问了，编译完成之后启动

报错，必须在HDFS开启才可以使用spark。没有问题之后体验了local本地模式和standalone独立模式这

两种部署方式，并通过spark-shell/spark-sql对hive进行简单的操作并能感受速度的明显提升，最后完

成JDBC编程方式进行访问。