![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
test_soy
健谈,开朗,喜欢研究
展开
-
hive库基础命令
创建数据库 hive> create database base1;使用数据库 hive> use base1;创建表 hive> create table table1(cols string,cols1 string);创建一个表与当前hive存在的表结构一样 hive> create table table1 like table2;创建分区表 hive> create table原创 2015-08-13 18:04:07 · 851 阅读 · 0 评论 -
hive导出数据导本地的方法
hive导出查询文件到本地文件的2种办法 通过HQL语句可以将hive 中表的数据生成到指定的目录。有时候 我们可以利用hive来生成统计的中间文件(比源文件小的多的)方法有如下2种: www.2cto.com 1.INSERT OVERWRITE LOCAL DIRECTORY将结果输出到指定的目录:生成的文件数 和原创 2016-02-22 09:49:07 · 2793 阅读 · 0 评论 -
hive分区(partition)简介
一、背景1、在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念。2、分区表指的是在创建表时指定的partition的分区空间。3、如果需要创建有分区的表,需要在create表的时候调用可选参数partitioned by,详见表创建的语法结构。二、技术细节转载 2015-12-31 11:27:07 · 374 阅读 · 0 评论 -
hive中的动态分区和静态分区
HIVE分区,实际上是通过一个路径来标识的,而不是在物理数据中。比如每天的数据,可能分区是pt=20121023这样,那么路径中它就会变成:/hdfs/path/pt=20121023/data_files。通过路径来标识的好处是,如果我们需要取特定分区的数据,只需要把这个路径下的数据取出来就可以了,不用扫描全部的数据。HIVE默认是静态分区。但是有时候可能需要动态创建不同的分区,比如商品原创 2015-10-30 18:20:00 · 487 阅读 · 0 评论 -
Hive常用SQL命令操作
创建表 hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段ds hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 显示所有表 hive> SHOW TABLES; 按正条件(正则表达式)显示表, hive> SHO原创 2015-10-22 16:55:07 · 726 阅读 · 0 评论 -
hive函数大全
一、关系运算:1. 等值比较: = 语法:A=B 操作类型:所有基本类型 描述: 如果表达式A与表达式B相等,则为TRUE;否则为FALSE 举例: hive>select 1 from lxw_dual where 1=1; 12. 不等值比较:原创 2015-10-21 19:34:17 · 454 阅读 · 0 评论 -
hive实现update与delete
INSERT OVERWRITE TABLE tablename2 [PARTITION (partcol1=val)]Select * from tablename1 where partition_name=’va1’ or partition_name=val2;eg:A表数据如下id(String) name(String)------原创 2015-10-21 19:32:20 · 5669 阅读 · 0 评论 -
hive中join用法
1. 内连接:inner join --join优化:在进行join的时候,大表放在最后面 --但是使用 /*+streamtable(大表名称)*/ 来标记大表,那么大表放在什么位置都行了 select /*+streamtable(s)*/ s.ymd,d.dividend from stocks s inner join di转载 2015-09-02 16:33:09 · 899 阅读 · 0 评论 -
hive相关命令语法
--自动补全功能:tab键 --可以把“设置系统属性变量,增加hadoop分布式内存,自定义hive扩展的jar包”放在“$HOME/.hiverc”文件中 --在hive的CLI中执行bash shell命令,只要在命令前加上!,并且以分号(;)结尾就可以! /bin/echo “what up dog”;转载 2015-09-02 17:45:07 · 527 阅读 · 0 评论 -
hive几种数据导入方式
1.从本地文件系统中导入数据到hive表 (1)数据准备(/home/sopdm/test.dat): 1,wyp,25,13188888888 2,test,30,13899999999 3,zs,34,89931412 (2)首先创建表use sopdm;drop table if exists sopdm转载 2015-09-02 14:17:55 · 755 阅读 · 0 评论 -
在Hadoop1.2.1分布式集群环境下安装hive0.12
● 前言:1. 大家最好通读一遍过后,在理解的基础上再按照步骤搭建。2. 之前写过两篇在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境>>、《在Hadoop1.2.1分布式集群环境下安装Mahout0.9框架》都是Hadoop家族一系列的,后续还会有其它内容,敬请期待!3. 好记性不如烂笔头,最新突然想把自己学习的东西整理出来,然而我也是刚刚学习,而且转载 2015-09-02 10:15:45 · 506 阅读 · 0 评论 -
Hive几种数据导出方式
Hive中的几种不同的数据导出方式。可以根据导出的地方不一样,将这些方式分为三种:导出到本地文件系统;导出到HDFS中;导出到Hive的另一个表中。为了避免单纯的文字,我将一步一步地用命令进行说明。文章目录1 导出到本地文件系统2 导出到HDFS中3 导出到Hive的另一个表中导出到本地文件系统 hive> insert overwrite local directory '/home/...转载 2018-03-20 17:29:04 · 14144 阅读 · 1 评论