Hive
常飞梦
10年以上工作经验,8年以数据库管理、开发经验,对数据库优化和架构有比较深的了解。
展开
-
Hive安装与配置——深入浅出学Hive
目录:初始HiveHive安装与配置Hive 内建操作符与函数开发Hive JDBChive参数Hive 高级编程Hive QLHive Shell 基本操作hive 优化Hive体系结构Hive的原理 配套视频课程 第一部分:软件准备与环境规划Hadoop环境介绍转载 2012-11-27 17:18:34 · 2534 阅读 · 0 评论 -
通过hive表整合查询hbase数据
大家知道,直接从hbase的读取数据是一个比较繁锁的过程,需要java代码或是spark 查询通过Hive整合HBase,可以通过hive表查询hbase数据,下面是测试过程--创建hbase表create "user","account","address","info","userid"--创建映射hbase表列族的hive外部表CREATE EXTERNAL TABLE ...原创 2018-08-14 11:47:28 · 3621 阅读 · 0 评论 -
hive锁表操作
当hive表被锁住后,进行drop insert操作时都出挂起等待,sqoop也无法导入数据,此时就需要先对hive表解锁再进行相关操作。步骤如下:查看是否被锁:show locks t_real_user_comein;列出相关查看锁表语句:SHOW LOCKS <TABLE_NAME>;SHOW LOCKS <TABLE_NAME> extended...原创 2018-07-27 11:08:59 · 4590 阅读 · 0 评论 -
使用beeline不能truncate table表
问题:使用beeline不能truncate table表和/etc/hive/conf.cloudera.hive/hive-site.xml修改参数在beeline里不起作用 在truncate table 表时报下面的错误:0: jdbc:hive2://172.16.29.10:10000/dw_test> truncate table customer_dim; ...原创 2018-07-23 10:26:58 · 1815 阅读 · 0 评论 -
Hive CLI – Migrating to Beeline
Hive Beeline的用法转载:http://www.teckstory.com/hadoop-ecosystem/hive-new-cli-beeline-for-hive/Hive is the data warehouse software of Hadoop ecosystem. It provides a mechanism to project structure onto lar转载 2016-06-21 16:51:49 · 10401 阅读 · 0 评论 -
hive中Specified key was too long; max key length is 767 bytes问题解决
当hive安装完成后,在hive中执行show table等任何命令,都会报以下错:[grid@racdb ~]$ hiveLogging initialized using configuration in jar:file:/home/grid/hive-0.8.1/lib/hive-common-0.8.1.jar!/hive-log4j.propertiesHive his原创 2015-10-18 19:30:56 · 2092 阅读 · 0 评论 -
hive学习笔记之-数据类型
数据类型Hive基本的数据类型: Hive集合数据类型:另外还有一个复合数据类型,可以综合上面的数据类型组合到一起。· union: UNIONTYPE 类型说明时间戳 支持传统的unix时间戳,可选的纳秒级精度。 支持的转换: l 整型数值类型:解读为以秒为单位的UNIX时原创 2014-01-23 14:14:21 · 17872 阅读 · 0 评论 -
Hive日期格式转换用法
1.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, stringformat]) 返回值: string说明: 转化UNIX时间戳(从1970-01-0100:00:00 UTC到指定时间的秒数)到当前时区的时间格式举例:hive> select from_unixtime(1323308943,'原创 2014-02-18 13:32:07 · 160138 阅读 · 1 评论 -
hive函数参考手册
原文见:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF1.内置运算符1.1关系运算符运算符类型说明A = B所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA == B无失败,因为无效的语原创 2014-02-18 13:45:08 · 1457 阅读 · 0 评论 -
hive学习笔记之-数据操作
1. 导入数据到管理表因为Hive不支持事务,所以没有行级别的insert,update,delete操作,仅支持使用加载的方式把数据导入到表中。 --加载数据到分区表的例子LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'OVERWRITE INTOTABLE employeesPARTITION(count原创 2014-01-27 16:52:46 · 13527 阅读 · 0 评论 -
hive学习笔记之-使用Sqoop把Oracle表导入Hive
安装环境:Hive: hive-0.11.0Hadoop: Hadoop 1.2.1Sqoop: sqoop-1.4.4.bin__hadoop-1.0.0Oralce driver: ojdbc6.jar软件下载:Hive: http://apache.dataguru.cn/hive/Hadoop: http://apache.dataguru.cn/had原创 2014-02-14 17:26:31 · 14064 阅读 · 2 评论 -
hive学习笔记之-数据定义
1. 数据库定义及操作--创建数据库hive(default)> SET hive.cli.print.current.db=false;hive> CREATEDATABASE financials; --创建库时加判断语句hive> CREATEDATABASE if not exists financials; --也可以使用关键字schames 代替data原创 2014-01-26 15:41:06 · 17188 阅读 · 0 评论 -
Hive深入浅出
Hive是什么1) Hive是什么?这里引用 Hive wiki 上的介绍:Hive is a data warehouse infrastructure built on top of Hadoop. It provides tools to enable easy data ETL, a mechanism to put structures on th转载 2014-02-21 15:01:36 · 1433 阅读 · 0 评论 -
Hive学习笔记之--Hive 高级编程
第一部分:产生背景产生背景为了满足客户个性化的需求,Hive被设计成一个很开放的系统,很多内容都支持用户定制,包括:•文件格式:Text File,Sequence File•内存中的数据格式: Java Integer/String, Hadoop IntWritable/Text•用户提供的 map/reduce 脚本:不管什么语言,利用 stdin/转载 2014-02-07 14:59:56 · 6865 阅读 · 0 评论 -
hadoop学习笔记-hive安装及操作
软件下载:Mysql: http://mysql.llarian.net/Downloads/MySQL-5.5/MySQL-5.5.24-1.rhel5.x86_64.tarHive:http://apache.dataguru.cn/hive/hive-0.8.1/hive-0.8.1.tar.gz 安装环境:OS:Oracle redhad 5.6 x86 64b原创 2013-01-21 13:47:22 · 16045 阅读 · 1 评论 -
Hive 并发模型
使用案例并发支持 (http://issues.apache.org/jira/browse/HIVE-1293) 是数据库的必须,而且他们的使用案例很好懂。至少,我们要尽可能支持并发读和写。添加几个发现当前已经锁定的锁,是有用的。这里没有一个直接的需求添加一个API显式获取锁,所以,所有锁都是隐式获取的。hive定义一下模式的锁(注意不需要意向锁)共享 (S)排他 (X)翻译 2014-01-26 15:04:26 · 1969 阅读 · 0 评论 -
HiveQL 常用操作
HiveQL 常用操作1. 创建表Create Tabledept (deptno Int,dname String) Row format delimited fields terminated By'\t';Create Table emp (empno Int,enameString,mgr Int,sal Float,deptno Int) Row format原创 2013-12-19 16:28:44 · 17177 阅读 · 0 评论 -
通过CDH5 Hadoop读取和写入OSS数据
本页目录准备工作步骤一:增加 OSS 配置步骤二:配置 Impala 对 OSS 的支持 验证配置 参考文档CDH(Cloudera's Distribution, including Apache Hadoop)是众多 Hadoop 发行版本中的一种,最新版本 CDH6.0.1 中的 Hadoop3.0.0 版本已经支持 OSS。CDH5 中的 Hadoop2.6 版本不支持...原创 2019-03-21 11:43:58 · 1733 阅读 · 0 评论