hive学习篇1

原创 2015年11月19日 12:11:06

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能,它的本质就是将SQL转换成MapReduce程序。

Hive本身建立在Hadoop的体系结构上,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行。并按照该计划生成MapReduce任务后交给Hadoop集群处理。

Hive是一个数据仓库,它提供了数据仓库的部分功能:数据ETL(抽取、转换、加载)工具,数据存储管理,大数据集的查询和分析能力。

由于Hive是基于hadoop平台的,所以它有很好的扩展性(可以自适应机器和数据量的动态变化),高延展性(自定义函数),良好的容错性,低约束的数据输入格式。


 


Hive的存储是建立在Hadoop文件系统之上的。Hive本身没有专门的数据存储格式,也不能为数据建立索引,用户可以自由地组织Hive中的表,只需要在创建表的时候告诉Hive数据中的列分隔符行分割符就可以解析数据了。

Hive中主要包含四种数据模型:表(Table)、外部表( External Table)、分区表(Partition)、桶(Bucket)。Hive中的表和数据库中的表的概念是类似的,每个表在Hive中都有一个对应的存储目录。

Hive操作

显示所有hive中的所有数据库:show databases;


创建数据库,数据名为test:create database test;


创建student表:hive> create table student (
                                     > sno bigint,
                                     > sname string,
                                     > sex string,
                                     > tel bigint)
                                     > row format delimited fields terminated by '\t';


为了测试我把我们班的人名单上传到了student表中

load data local inpath '/home/file/people.txt' into table student;

查询表的数据:select * from student;


在查询时也遇到了一些问题,一开始查询出来乱码,后来在网上查了查资料,我上传的文本的编码和linux中的终端编码不一样,于是我将我文本的编码改成了utf-8,于是查询出来就不乱码了。

初学hive,以后博客持续更新。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

(转)hive sql 学习笔记(1)

一、 创建表      在官方的wiki里,example是这样的: Sql代码 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] ...

Hive学习笔记1@Hiveserver2高可用实现

在生产环境中使用Hive,强烈建议使用HiveServer2来提供服务,好处很多: 在应用端不用部署Hadoop和Hive客户端; 相比hive-cli方式,HiveServer2不用直接将HDFS和...

hive 学习(1) 内置函数以及数据类型

第一部分:关系运算 Hive支持的关系运算符 •常见的关系运算符 •等值比较: = •不等值比较: •小于比较: •小于等于比较: •大于比...

Hive 0.7.1-cdh3u1 API

  • 2015-04-26 09:00
  • 4.65MB
  • 下载

hive-0.7.1-cdh3u1.tar.gz

  • 2016-01-27 15:14
  • 19.19MB
  • 下载

Hive学习篇2

WordCount单词统计 在开始学习编程时都要写一个Hello World程序,学习hive也一样,也要做一个wordcount单词统计。 为了做这个wordcount单词统计,我找了一篇英语短...

hive-0.12.0.part1.rar

  • 2014-02-17 20:34
  • 50MB
  • 下载

Hive基础(1)

1. Hive并不是分布式的,它独立于机器之外,类似于Hadoop的客户端。2. 元数据和数据的区别,前者如表名、列名、字段名等。3. Hive的三种安装方式 内嵌模式,元数据服务和Hive服务运行在...

(1) Hive JOIN语句详解

本文讲述hive语句的JOIN语句的一般用法。Hive支持通常的SQL JOIN语句,但是只支持等值连接。

Ubuntu下hive的配置1(derby模式)

hadoop的单机模式配置好之后,就可以在此基础上配置Hive。
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)