Hive
安静平和
这个作者很懒,什么都没留下…
展开
-
hive文件存储格式
hive在建表是,可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式例如:[plain] view plain copy> CREATE EXTERNAL TABLE MYTEST(num INT, name STRING) > ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t转载 2016-04-11 17:39:28 · 899 阅读 · 0 评论 -
hive 开启本地模式
先讲一个hive使用的一个小技巧。对于使用惯了oracle数据库的人来说,hive中没有dual啊,想验证一些函数的执行结果很是麻烦。比如我们在oracle数据库里面可以写select (1+2) from dual可以返回3。为了保证使用习惯,我们类似的在hive中也建一张dual表:create table dual(dummy string)然后往这张表中导入一个只有转载 2016-09-03 00:38:54 · 793 阅读 · 0 评论 -
HIVE 的安装部署
1、下载hive:wget http://mirrors.cnnic.cn/apache/hive/hive-0.12.0/hive-0.12.0.tar.gz2、解压hive安装文件 tar -zvxf hive-0.12.0.tar.gz3、配置hive环境变量,初始化hive在hdfs上的工作目录(因此在部署hive之前,请确保已经完整的部署了hadoop,并设置好相关的环境,had转载 2016-08-20 22:17:56 · 1034 阅读 · 0 评论 -
hive的jdbc
原文地址: http://blog.csdn.net/nsrainbow/article/details/43002387 最新课程请关注原作者博客,获得更好的显示体验声明本文基于Centos 6.x + CDH 5.x说到Hive就一定要说到写程序的时候怎么调用Hive。以下我通过一个例子说明如果通过java来调用hive查询数据服务准备转载 2016-08-20 22:08:13 · 1478 阅读 · 0 评论 -
Hive的内置服务和hiveserver/hiveserver2的比较
一:Hive的几种内置服务 执行bin/hive --service help 如下: [html] view plain copy [master@master1 hive]$ bin/hive --service help ls: 无法访问/opt/spark/lib/spark-asse转载 2016-09-09 21:57:53 · 2413 阅读 · 0 评论 -
hive内置操作符与函数
第一部分:关系运算Hive支持的关系运算符•常见的关系运算符•等值比较: =•不等值比较: •小于比较: •小于等于比较: •大于比较: >•大于等于比较: >=•空值判断: IS NULL•非空判断: IS NOT NULL•LIKE比较: LIKE•JAVA的LIKE操作: RLIKE•REGEXP操作: REGEXP•等转载 2016-08-18 22:55:34 · 457 阅读 · 0 评论 -
hive函数参考手册
原文见:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF1.内置运算符1.1关系运算符运算符类型说明A = B所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA == B无失败,因为无效的语转载 2016-08-18 22:50:53 · 568 阅读 · 0 评论 -
Hive 优化
优化时,把hive sql当做map reduce程序来读,会有意想不到的惊喜。理解hadoop的核心能力,是hive优化的根本。这是这一年来,项目组所有成员宝贵的经验总结。 长期观察hadoop处理数据的过程,有几个显著的特征:1.不怕数据多,就怕数据倾斜。2.对jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几转载 2016-08-18 22:26:55 · 692 阅读 · 1 评论 -
hive参数hive.mapred.mode分析
Hive配置中有个参数hive.mapred.mode,分为nonstrict,strict,默认是nonstrict如果设置为strict,会对三种情况的语句在compile环节做过滤:1. 笛卡尔积Join。这种情况由于没有指定reduce join key,所以只会启用一个reducer,数据量大时会造成性能瓶颈 ?12转载 2016-08-18 12:49:43 · 2421 阅读 · 0 评论 -
hive 中 Order by, Sort by ,Dristribute by,Cluster By 的作用和用法
order byorder by 会对输入做全局排序,因此只有一个reducer(多个reducer无法保证全局有序)只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。set hive.mapred.mode=nonstrict; (default value / 默认值)set hive.mapred.mode=strict; order b转载 2016-08-18 12:41:57 · 464 阅读 · 0 评论 -
hive--删除表中的数据truncate
delect:用于删除特定行条件,你可以从给定表中删除所有的行TRUNCATE:truncate用于删除所有的行,这个行为在hive元存储删除数据是不可逆的DROP:删除hive中的表truncate 不能删除外部表!因为外部表里的数据并不是存放在Hive中的warehouse中truncate table table_name;例子:t转载 2016-08-15 20:38:40 · 12328 阅读 · 0 评论 -
maven 添加hive-exec后出现错误
创建maven工程,在pom中添加hive-exec来创建UDF,但是在pom中添加下面引用后出错:org.apache.hivehive-exec0.14.0错误:Multiple markers at this line- Missing artifact org.apache.calcite:calcite-core:jar:0.9原创 2016-04-21 22:11:49 · 8753 阅读 · 1 评论 -
ASCII码值表
Char Dec Oct Hex | Char Dec Oct Hex | Char Dec Oct Hex | Char Dec Oct Hex-----------------------------------------------------------------------------------(nul) 0 0000 0x00 | (sp) 32 0转载 2016-05-24 15:53:40 · 1032 阅读 · 0 评论 -
hive学习总结(9)—数据库创建、表创建、加载数据
http://gaoxianwei.iteye.com/blog/2160558--创建数据库create database if not exists sopdmcomment ‘this is test database’with dbproperties(‘creator’=’gxw’,’date’=’2014-11-12’) --数据库键转载 2016-04-11 17:59:48 · 854 阅读 · 0 评论 -
Hadoop Hive sql语法详解
Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需要的内容,这套SQL 简称Hive SQL,使不熟悉mapreduce 的用户很方便的利用SQL 语言转载 2016-08-14 22:38:39 · 595 阅读 · 0 评论