在Hadoop安装过程中还是遇到很多障碍的,为了以后能够快速回忆起来,就写个日志供以后参考。
1、hadoop的环境搭建
首先是Hadoop 1.0的环境搭建,并没有遇到什么大的障碍,主要是环境搭建之前的准备工作。
1)静态IP地址的配置
2)多台机器通过SSH免密登录
1.0版本搭建完之后,由于技术早就过时了,所以着手hadoop 2.0的搭建,根据视频教程,我使用的
是cdh提供的hadoop安装包,不过在启动的时候提示库不存在,最后发现cdh安装包中是没有库的,
要去相同版本中拿。
2、hive环境搭建
hive搭建过程中也没有遇到什么大的问题,首先就是配置文件(Hive-env.sh、hive-site.sh),然后是
需要将 jdbc驱动包放到hive目录中来的。并且hive也是用到数据库的,所以就安装了一个mysql数据库,
不过mysql在安装过程中也遇到点小麻烦,因为mysql被Oracle公司收购了,所以安装的时候有时候没
法搜索的到,最后就安装的社区版的,不过用起来不受任何影响。
3、Spark环境搭建
刚开始也是使用的cdh提供的spark 1.6版本的包,不过却有各种报错,网上推荐的是使用源码编译。源
码编译成功后却不能下载cdh的依赖包,将访问地址https改为http之后能够访问了,编译完成之后启动
报错,必须在HDFS开启才可以使用spark。没有问题之后体验了local本地模式和standalone独立模式这
两种部署方式,并通过spark-shell/spark-sql对hive进行简单的操作并能感受速度的明显提升,最后完
成JDBC编程方式进行访问。