![](https://img-blog.csdnimg.cn/20200108163404892.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hive
大数据之Hive相关
新新许愿树
人生就像滚雪球,关键是要找到足够湿的雪,和足够长的坡。
展开
-
Hive学习(一)大数据基础知识介绍
目录HadoopHDFS(Hadoop Distribute File System)MapReduceYarnSpark该系列文档是由学习 尚硅谷大数据课程之Hive 整理而来。若有不足之处,烦请批评指正!HadoopApache基金会所开发的分布式系统基础框架用于解决 海量数据的存储和分析 问题Hadoop生态圈:Hive、HBase、HDFS、Zook...原创 2019-12-21 17:41:09 · 286 阅读 · 0 评论 -
Hive学习(二)入门
目录Hive是什么Hive的优缺点优点缺点Hive架构原理用户接口:Client元数据:MetastoreHadoop驱动器:DriverHive和数据库比较查询语言数据存储位置数据更新索引执行执行延迟可扩展性数据规模Hive是什么Hive是由 Facebook 开源用于解决海量结构化日志统计的数据仓库工具,可以将数据...原创 2019-12-21 17:34:35 · 172 阅读 · 0 评论 -
Hive学习(三)安装配置
目录安装部署Hive基本操作将本地文件导入hive查看在hive中输入的所有历史命令Hive常见属性配置数据仓库位置配置查询后信息显示配置运行日志信息配置配置参数方式官网地址:https://hive.apache.org/下载地址:https://www-eu.apache.org/dist/hive/官方wiki文档:https://cwiki....原创 2019-12-22 16:09:19 · 534 阅读 · 0 评论 -
Hive学习(四)数据类型
目录基本数据类型集合数据类型类型转换基本数据类型Hive数据类型 Java数据类型 长度 例子 TINYINT byte 1byte 有符号整数 20 SMALINT short 2byte 有符号整数 20 INT int 4byte 有符号整数 20 BIGINT long ...原创 2019-12-20 16:50:31 · 101 阅读 · 0 评论 -
Hive学习(五)DDL数据定义
目录数据库相关创建数据库查询数据库切换数据库修改数据库删除数据库表相关创建表管理表外部表管理表和外部表的相互转换分区表修改表删除表数据库相关创建数据库数据库在HDFS上的默认存储路径为:/user/hive/warehouse/*.dbcreate database if not exists icydate;也可以在创...原创 2019-12-20 15:14:09 · 328 阅读 · 0 评论 -
Hive学习(六)DML数据操作
目录数据导入装载数据(Load)通过查询语句向表中插入数据(Insert)查询语句中创建表并加载数据(As Select)数据导出清除表中数据数据导入装载数据(Load)语法:load data [local] inpath 'file_path' [overwrite] into table tb_name [partition(partcol1=val...原创 2019-12-20 17:39:27 · 176 阅读 · 0 评论 -
Hive学习(七)查询
LIKE和RLIKE LIKE:%,_ RLIKE:支持Java的正则表达式;例,查找部门号中含有2的部门 :select * from dept_part where deptno RLIKE '[2]'; 大多数情况下,Hive会对JOIN连接对象启动一个MapReduce任务如:FROM emp e JOIN dept d ON d.deptno = e.dep...原创 2020-01-06 16:20:25 · 365 阅读 · 0 评论 -
Hive学习(八)函数
内置函数 show functions desc function upper desc function extended upper(详细) 自定义函数 UDF(user-defiened fuction) UDF 一进一出 UDAF 聚集函数,多进一出 UDTF 一进多出 自定义函数步骤:1. 创建一个mave...原创 2020-01-06 16:30:43 · 312 阅读 · 0 评论 -
Hive学习(九)企业级调优
Fecth抓取Fetch 抓取是指,Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如:SELECT * FROM employees; 在这种情况下,Hive 可以简单地读取 employees 对应的存储目录下的文件,然后输出查询结果到控制台。 在 hive-default.xml.template 文件中 hive.fetch.task.conversion 默...原创 2020-01-06 16:39:41 · 424 阅读 · 0 评论