版权声明:本文为博主原创文章,未经博主允许不得转载。
简介(百度百科)
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
环境介绍
- 操作系统:OSX EI Capitan 10.11.5
- Hadoop版本:2.6.2
- mySql版本:5.6.21
- mysql-connector-java版本:5.1.38
- Hive版本:2.0.1
Hadoop配置
关于hadoop的详细配置,请移步博文:Hadoop2.6.2完全分布式配置。
下载安装
安装mySql
1. 先去MySQL官网http://dev.mysql.com/downloads/mysql/下载安装包。
2. 双击安装包:mysql-5.1.38-osx10.11-x86_64.dmg(具体看你下载的版本)。
3. 按照提示界面一路安装即可,此处注意:在安装结束时,可能会弹出对话框,告知你默认的访问数据库的用户名和密码。第一次登陆时,需要用此用户名和密码登陆,否则会出现无法登陆的问题。
4. 修改用户密码:
a. 用刚才的用户名和密码登陆mysql:
- 1
- 1
b. 输入下列语句:
- 1
- 2
- 3
- 4
- 1
- 2
- 3
- 4
安装Hive
1. 先确保已经正确安装并运行了hadoop。
2. 下载hive安装包
去官网https://hive.apache.org/downloads.html下载合适的安装包版本,将安装包移动至:/usr/hadoop/hadoop-2.6.2/
目录下,此目录是本机安装hadoop的目录。
移动至此处后,解压缩,并将解压后的文件名改为hive,方便配置。
例如本机Hive的安装路径为:/usr/hadoop/hadoop-2.6.2/hive
3. 配置系统环境变量
a. 修改~/.bash_profile文件或者修改/etc/profile文件
- 1
- 1
b. 修改内容为:
- 1
- 2
- 1
- 2
c. 退出保存后,在终端输入,使环境变量立即生效:
- 1
- 1
4. 修改Hive配置文档:
a. 进入/usr/hadoop/hadoop-2.6.2/hive/conf
,新建文件hive-site.xml
b. 添加hive-site.xml
内容:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
c. 复制hive-env.sh.template
为hive-env.sh
- 1
- 1
d. 修改hive-env.sh
内容:
- 1
- 2
- 1
- 2
5. mySql配置
a. 登陆mySql,我的用户名为root,密码为root。
- 1
- 1
b. 给用户赋予权限,以使得该用户可以远程登录数据库:
- 1
- 1
c. 使改变立即生效:
- 1
- 1
6. 向/usr/hadoop/hadoop-2.6.2/hive/lib
中添加mySql连接库:
a. 去网站http://dev.mysql.com/downloads/connector/j/下载mySql-connector包。
b. 将下好的包解压缩,如我解压缩后的文件夹为mysql-connector-Java-5.1.38
,将此文件夹下mysql-connector-java-5.1.38-bin.jar
复制到/usr/hadoop/hadoop-2.6.2/hive/lib
下。
注意:需要给/tmp
文件夹设置写权限,同时确保 hadoop不在安全模式下,可以执行此命令使hadoop退出安全模式:hadoop dfsadmin -safemode leave
启动Hive
1. 如果是第一次启动Hive,则需要先执行如下初始化命令:
- 1
- 1
2. 启动Hive:
- 1
- 1
完成基本的环境配置!