Hive配置+haddop为底层存储系统+远程mysql+简单的hive数据操作
说明:
关于hadoop集群、habse集群配置可参考我的前三篇博客。这里我没有配置hive的内嵌模式,直接配置hive的 远程模式(以mysql为元数据存储数据库)
前提条件:
安装好了hadoop集群(或者单机模式、伪分布模式)
安装步骤
1 mysql安装
(1)mysql可以安装在windows系统上也可以安装在linux系统上,这个工具自己的情况,我这里是安装在windows系 统上。
(2)mysql下载,网址如下(windows系统): http://172.16.0.80/files/2056000000070C7C/mysql.llarian.net/Downloads/MySQL-5.6/mysql-5.6.17- winx64.zip
(3)接下来就是mysql安装了,我这个版本是不需要安装版本的,需要自己修改一些文件,注册mysql服务,简要步骤 如下(这里只是简要步骤,大家可以自行度娘一下很多):
复制文件my.in(启动mysql默认加载文件)
修改文件my.in
(4) mysql测试,可以可以正常登入说明安装成功(这里我在mysql中创建了用户hive以及数据库hive,当然赋予用户 hive对数据库hive的所有操作权限,关于mysql创建用户和数据库命令,相信大家都不成问题)
2 Hive安装
接下来是我们的重头戏了,首先下载hive,大家可以去官网上下载。
解压tar zxf /home/lzliu/software/apache-hive-0.13.0-bin.tar.gz /home/home/hduser/
3 文件配置
(1)配置hive-config.sh文件
(2) 根据hive-default.xml复制hive-site.xml
3 测试hive
(1)启动hadoop集群./hadoop-all.sh
(2)启动hive(注意先启动mysql服务),进入bin目录下./hive,出现这个说明启动成功
4 hive上sql练习
(1)创建表
(2)浏览表
(3)浏览表,末尾以s结尾的
(4)向表中导入数据(将txt文档中的数据导入表中)
如下txt文档数据
导入数据命令如下
查看导入的数据