hive学习篇1

原创 2015年11月19日 12:11:06

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能,它的本质就是将SQL转换成MapReduce程序。

Hive本身建立在Hadoop的体系结构上,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行。并按照该计划生成MapReduce任务后交给Hadoop集群处理。

Hive是一个数据仓库,它提供了数据仓库的部分功能:数据ETL(抽取、转换、加载)工具,数据存储管理,大数据集的查询和分析能力。

由于Hive是基于hadoop平台的,所以它有很好的扩展性(可以自适应机器和数据量的动态变化),高延展性(自定义函数),良好的容错性,低约束的数据输入格式。


 


Hive的存储是建立在Hadoop文件系统之上的。Hive本身没有专门的数据存储格式,也不能为数据建立索引,用户可以自由地组织Hive中的表,只需要在创建表的时候告诉Hive数据中的列分隔符行分割符就可以解析数据了。

Hive中主要包含四种数据模型:表(Table)、外部表( External Table)、分区表(Partition)、桶(Bucket)。Hive中的表和数据库中的表的概念是类似的,每个表在Hive中都有一个对应的存储目录。

Hive操作

显示所有hive中的所有数据库:show databases;


创建数据库,数据名为test:create database test;


创建student表:hive> create table student (
                                     > sno bigint,
                                     > sname string,
                                     > sex string,
                                     > tel bigint)
                                     > row format delimited fields terminated by '\t';


为了测试我把我们班的人名单上传到了student表中

load data local inpath '/home/file/people.txt' into table student;

查询表的数据:select * from student;


在查询时也遇到了一些问题,一开始查询出来乱码,后来在网上查了查资料,我上传的文本的编码和linux中的终端编码不一样,于是我将我文本的编码改成了utf-8,于是查询出来就不乱码了。

初学hive,以后博客持续更新。

Hive编程指南学习笔记(1)

hive一次使用命令: $ hive -e "select * from mytable limit 1;" OK name1 1 name2 2 Time taken: 3.935 seconds ...
  • iAm333
  • iAm333
  • 2014年11月07日 19:15
  • 1712

(转)hive sql 学习笔记(1)

一、 创建表      在官方的wiki里,example是这样的: Sql代码 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] tabl...

hive 学习(1) 内置函数以及数据类型

第一部分:关系运算 Hive支持的关系运算符 •常见的关系运算符 •等值比较: = •不等值比较: •小于比较: •小于等于比较: •大于比...

Hive学习笔记1@Hiveserver2高可用实现

在生产环境中使用Hive,强烈建议使用HiveServer2来提供服务,好处很多: 在应用端不用部署Hadoop和Hive客户端; 相比hive-cli方式,HiveServer2不用直接将HDFS和...
  • hqwang4
  • hqwang4
  • 2017年03月03日 15:49
  • 1673

Hadoop学习(三)——Hive学习1

1、UDTFs(表生成函数): 2、Lateral View(侧视图): 3、Union和Union all: 4、Hive配置遇到的参数:...

Hive优化_1. 数据文件优化篇

之前转载了一篇。博主总结的很不错。这里本人将自己平时积累的资料汇总了一下,来补充一下这篇文章: 针对方法上篇的优化方法1,2,3 主要建立在 Hive 触发了一个 MapReduce Job。但是我...
  • Mike_H
  • Mike_H
  • 2015年12月02日 13:40
  • 1166

hive-0.7.1-cdh3u1.tar.gz

  • 2016年01月27日 15:14
  • 19.19MB
  • 下载

hive-0.12.0.part1.rar

  • 2014年02月17日 20:34
  • 50MB
  • 下载

hive学习笔记-函数篇(-)持续更新中

1.关于时间函数 --获取星期几可以使用以下函数 pmod(datediff('dateTimeExp', '2012年任意一个星期天的日期'), 7) 获取 --获取第几周 weekofyear(...
  • jsphyun
  • jsphyun
  • 2014年08月21日 21:04
  • 20413

Hive学习篇2

WordCount单词统计 在开始学习编程时都要写一个Hello World程序,学习hive也一样,也要做一个wordcount单词统计。 为了做这个wordcount单词统计,我找了一篇英语短...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hive学习篇1
举报原因:
原因补充:

(最多只允许输入30个字)