Hive的入门安装

[b][color=green][size=large]hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

Hive最早由facebook开源,最初用于解决海量结构化的日志数据统计问题,是一个ETL工具,
Hive的一些应用场景如下:
日志分析
统计网站一个时间段内的pv、uv
多维度数据分析
大部分互联网公司使用Hive进行日志分析,包括百度、淘宝等
其他场景
海量结构化数据离线分析
低成本进行数据分析(不直接编写MR)
[/size][/color][/b]

[b][color=olive][size=large]本篇,散仙来介绍下Hive的安装与部署,Hive并不是一个分布式的系统,所以它的安装相对来说,还是比较容易的,在Hive安装之前,确保你的hadoop环境已经成功搭建,并可以正常启动,散仙的配置版本是,hadoop1.2.0的版本,hive0.10的版本。[/size][/color][/b]

[b][color=olive][size=large]我们,先来总结下Hive的安装步骤:
[table]
|序号|描述
|1|安装配置MySQL数据库,(默认是derby)
|2|放一个mysql的JDBC连接的jar包,到hvie/lib里面
|3|在hive-env.sh里面加入hadoop的目录路径(拷贝自带模板,重命名)
|4|在HDFS上创建Hive的主目录hive和临时文件存储目录tmp
|5|配置hive-site.xml,配置hive的一些相关信息(拷贝自带模板,重命名)
|6|启动Hive
[/table]
[/size][/color][/b]
[b][color=olive][size=large]散仙重点要说的是,关于3,4,5的配置,mysql的安装其实很简单,在这里不再介绍,首先我们要拷贝hive-env.sh.template重命名为hive-env.sh并向其中,加入hadoop的目录路径截图如下:[/size][/color][/b]

[img]http://dl2.iteye.com/upload/attachment/0091/9930/7706694e-c4f0-3ffe-a1c0-2718348a03ee.jpg[/img]

[b][color=olive][size=large]其次,我们要在HDFS上创建,对应的hive的table的存放位置目录,截图如下:[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0091/9934/7309030b-8093-3413-88ee-b99d25e81e24.jpg[/img]
[b][color=olive][size=large]接下来,我们需要最重要的东西了,hive-site.xml,重命名hive-default.xml.template为hive-site.xml,修改其中几项即可:[/size][/color][/b]
<configuration>
<property>
<!-- MySQ的URL配置 -->
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<!-- 数据库的用户名配置-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!-- 此处JDBC的驱动务必加上,对应的数据配置对应的驱动-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<!-- 数据库密码配置-->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
<!-- HDFS路径hive表的存放位置-->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/root/hive</value>
</property>
<!--HDFS路径,用于存储不同 map/reduce 阶段的执行计划和这些阶段的中间输出结果。 -->
<property>
<name>hive.exec.scratchdir</name>
<value>/root/tmp</value>
</property>
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx4096m</value>
</property>
<!-- 日志的记录位置-->
<property>
<name>hive.querylog.location</name>
<value>/root/hive-0.10.0/logs</value>
</property>
</configuration>

[b][color=olive][size=large]至此,配置部分已经完毕,下面我们就可以启动hive,并尝试建表操作了,截图如下:[/size][/color][/b]

[img]http://dl2.iteye.com/upload/attachment/0091/9958/d2be5e26-0f61-338d-b6f4-5e53d5037a4a.jpg[/img]


[b][color=olive][size=large]最后,退出的命令,使用exit即可。[/size][/color][/b]
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值