由于以上均是最新版本,网上以往的资料用起来几乎都有多少的错误,不少的错误真的会把人搞疯,近10篇博文结合我自己在外网上找到的一些方法,记录下来。
hadoop的安装推荐看这一篇:http://dblab.xmu.edu.cn/blog/install-hadoop/
写配置文件的时候注意更改版本信息,我是在一台主机上进行的伪分布式配置。
hive的安装与配置:http://dblab.xmu.edu.cn/blog/install-hive/。我发现厦大的这个博客网站还是比较靠谱的,很多其他的博文直接将配置文档复制为
hive-site.xml文件,这样当你修改完这个文件后,启动hive时会发现出现错误,这个错误我试了很多种方法,发现都不能很好的解决,这是个特别大的坑。应该按照厦大博客里新建一个文件,只把修改的部分写到新文件中。其中由于版本问题,所以更改了一项参数:新的jdbc驱动jdbc.driver的属性值从com.mysql.jdbc.Driver换为com.mysql.cj.jdbc.Driver,一定要更换。
Mysql安装配置与接入hive:hadoop与hive安装还是比较简单的,毕竟有正确的教程。这一部分教程比较乱,总结如下:
ubuntu上的自带的安装包是mysql5.7,所以我要手动安装,首先去官网下载一个安装包https://dev.mysql.com/downloads/mysql/,
选择好合适的版本后,下载deb bundle就是图中第一个。下载时甲骨文要求注册一个账户,也蛮快的。如果有下载不下来的,我可以分享给大家我方在百度云中的安装包。
解压:
cd ~
cd Downloads
mkdir my