走近大数据之Hive入门与进阶
走近大数据之Hive入门与进阶,轻轻松松学会hive
goldmei88
程序猿
展开
-
走近大数据之Hive进阶(七、开发Hive的自定义函数)
Hive自定义函数实现细节: 1.自定义UDF需要继承org.apache.hadoop.hive.sql 2.需要实现evaluate函数,evaluate函数支持重载 3.把程序打包放到目标机器上去 4.进入hive客户端,添加jar包: - hive>add jar /root/training/udfjar/udf_test.jar 5.创建临时函数: - hiv...原创 2019-05-19 10:43:41 · 180 阅读 · 0 评论 -
走近大数据之Hive进阶(六、Hive的客户端操作)
通过jdbc的方式操作hive需要开启相关服务 hive --service hiveserver //开启hive远程服务,以便jdbc远程连接 一、Hive的JDBC客户端操作 新建Java项目 需要用到的jar包,这些jar包在hive的lib目录下,或者hadoop的lib目录下都能找到 代码如下: 二、Hive的Thrift客户端操作 ...原创 2019-05-16 23:27:44 · 219 阅读 · 0 评论 -
走近大数据之Hive进阶(五、Hive的子查询)
HIVE子查询 hive只支持from和where子查询 select e.ename from emp e where e.deptno in (select e.deptno from dept d where d.dname='SALES' or d.dname='ACCOUNTING'); 注意的问题: 1、语法中的括号 2、合理的书写风格 3、主查询和子查询可以不是同...原创 2019-05-11 18:17:42 · 1242 阅读 · 0 评论 -
走近大数据之Hive进阶(四、Hive的表连接)
HIVE表连接(转换成mapreduce作业,提交到hadoop上) 一、Hive等值连接和不等值连接 等值连接(连接条件中为等号): select e.empno, e.ename, e.sal, d.dname //选择要查询的字段 from emp e, dept d //选择表,并取别名 where e.deptno=d.deptno; //条件是表e的deptno等于表d的de...原创 2019-05-11 12:39:25 · 659 阅读 · 0 评论 -
走近大数据之Hive进阶(三、Hive的内置函数)
目录 一、Hive数学函数 二、Hive字符函数 三、Hive收集函数和转换函数 四、Hive日期函数 五、Hive条件函数 六、Hive聚合函数和表生成函数 一、Hive数学函数 round 四舍五入 前面是小数,后面是取整位数 ceil 向上取整 floor 向下取整 二、Hive字符函数 字符串转换成小写:lower 字符串转换成大写:upper ...原创 2019-04-22 22:16:05 · 366 阅读 · 0 评论 -
走近大数据之Hive进阶(二、Hive的数据查询)
目录 一、简单查询和fetchtask 二、在查询中使用过滤 三、在查询中使用排序 一、简单查询和fetchtask 1、Hive查询的基本语法 语法跟sql语法基本相似 SELECT * FROM user与 SELECT name, gender FROM user的区别? SELECT *全表扫描不会开启MapReduce作业,SELECT name, gen...原创 2019-04-21 11:13:32 · 569 阅读 · 0 评论 -
走近大数据之Hive进阶(一、Hive数据的导入)
一、使用Load语句进行数据的导入 -语法: LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcoll = vall, partcol2 = val2 ...)] *将student01.txt数据导入t2 (t2表没有指定分隔符) load data loca...原创 2019-05-11 11:48:01 · 395 阅读 · 0 评论 -
走近大数据之Hive入门(六、Hive的数据模型)
目录 一、Hive的数据存储 二、内部表(Table) 三、分区表(Partition) 四、外部表(External Table) 五、桶表(Bucket Table) 六、视图(View) 一、Hive的数据存储 基于HDFS(Hadoop的数据仓库) 没有专门的数据存储格式(默认的情况下采用'\t'(制表符)作为列与列之间的分隔符) 存储结构主要包括:...原创 2019-05-04 11:49:00 · 278 阅读 · 0 评论 -
走近大数据之Hive入门(五、Hive的数据类型)
目录 一、基本数据类型 二、复杂数据类型 三、时间数据类型 一、基本数据类型 整数类型:tinyint/smallint/int/bigint 浮点数类型:float/double 布尔类型:boolean 字符串类型:string(包含:string、varchar、char) >create table person (pid int, pname string, ma...原创 2019-05-04 10:57:11 · 271 阅读 · 0 评论 -
走近大数据之Hive入门(四、Hive的管理)
目录 一、Hive的管理之CLI方式 二、Hive的管理之web界面方式 三、Hive的管理之远程服务 一、Hive的管理之CLI方式 hive的进入和退出 进入hive命令行1:hive -- service cli 进入hive命令行2:hive 退出hive命令:1、exit 2、quit 常用的CLI命令 清屏:Ctrl+L 或者 !clear 查看数据仓库中表:sho...原创 2019-04-27 17:43:14 · 563 阅读 · 0 评论 -
走近大数据之Hive入门(三、Hive的安装)
目录 一、Hive的安装模式 二、Hive安装之嵌入模式 三、Hive安装之远程模式和本地模式 一、Hive的安装模式 下载地址: http://archive.apache.org/dist/ 找到Hive,选择要安装的版本 Hive是基于Hadoop之上的一个数据仓库工具,所以按照Hive之前需先安装Hadoop环境 Hadoop安装:(进行中。。。) ...原创 2019-04-07 17:12:29 · 340 阅读 · 0 评论 -
走近大数据之Hive入门(二、Hive的体系结构)
目录 一、Hive的体系结构之元数据 二、Hive的体系结构之HQL的执行过程 三、Hive的体系结构 一、Hive的体系结构之元数据 Hive将元数据存储在(metastore),支持mysql,derby等数据库 (默认存放在derby数据库中) Hive中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表),表的数据所在目录。 二、Hive的体系结构之...原创 2019-04-07 12:30:18 · 426 阅读 · 0 评论 -
走近大数据之Hive入门(一、概述)
目录 一、数据仓库 二、什么是Hive 注意 一、数据仓库 数据仓库是一个面向主题的、集成的、不可更新的、随时间不变化的数据集合,它用于支持企业或组织的决策分析处理。 OLTP应用:联机事务处理,关注的是事物的处理,典型的OLTP应用是银行转账,一般操作频率会比较高; OLAP应用:联机分析处理,主要面向的是查询,典型的OLAP应用是商品推荐系统,一般不会做删除和更新,数据...原创 2019-04-07 11:30:45 · 435 阅读 · 0 评论