Hive
文章平均质量分 93
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。
TANCHISE
这个作者很懒,什么都没留下…
展开
-
Hive2.0 函数详解
Hive2.0 函数详解摘要Hive内部提供了很多函数给开发者使用,包括数学函数,类型转换函数,条件函数,字符函数,聚合函数,表生成函数等等,这些函数都统称为内置函数。数学函数Return TypeName (Signature)DescriptionDOUBLEround(DOUBLE a)Returns the rounded BIGINT value of a.返回对a四舍五入的BIGINT值DOUBLEround(DOUBLE a, INT d)Retur原创 2021-01-21 18:55:42 · 448 阅读 · 2 评论 -
Hive 函数的解读及应用4(自定义函数)
文章目录Hive 函数43、 自定义函数4、 自定义 UDF 函数Hive 函数43、 自定义函数1)Hive 自带了一些函数,比如:max/min等,但是数量有限,自己可以通过自定义UDF来方便的扩展。2)当 Hive 提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UDF:user-defined function)。3)根据用户自定义函数类别分为以下三种:(1)UDF(User-Defined-Function)一进一出(2)UDAF(User-Defi原创 2020-08-07 22:57:24 · 678 阅读 · 0 评论 -
Hive 函数的解读及应用3(窗口函数、RANK函数、常用函数)
文章目录Hive 函数32.5 窗口函数(开窗函数)2.6 Rank2.7 常用的 hive 函数Hive 函数32.5 窗口函数(开窗函数)1)相关函数说明OVER():指定分析函数工作的数据窗口大小,这个数据窗口大小可能会随着行的变化而变化。CURRENT ROW:当前行n PRECEDING:往前n行数据n FOLLOWING:往后n行数据UNBOUNDED:无边界UNBOUNDED PRECEDING 前无边界,表示从前面的起点,UNBOUNDED FOLLOWING 后无边原创 2020-08-07 22:56:25 · 420 阅读 · 0 评论 -
Hive 函数的解读及应用2(常用内置函数2:行转列、列转行)
文章目录Hive 函数22.3 行转列2.4 列转行Hive 函数22.3 行转列1)相关函数说明(可以是一行转一列,多行转一列)CONCAT(string A/col, string B/col…):返回输入字符串连接后的结果,支持任意个输入字符串;CONCAT_WS(separator, str1, str2,…):它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL,返回值也将为 NULL。这个函数会跳过分隔符参数后原创 2020-08-06 20:12:21 · 366 阅读 · 0 评论 -
Hive 函数的解读及应用1(系统内置函数、常用内置函数1)
八、函数文章目录八、函数1、 系统内置函数2、常用内置函数2.1 空字段赋值2.2 CASE WHEN THEN ELSE END1、 系统内置函数1)查看系统自带的函数0: jdbc:hive2://hadoop105:10000> show functions;2)显示自带的函数的用法0: jdbc:hive2://hadoop105:10000> desc function upper;+------------------------------------------原创 2020-08-06 20:11:30 · 212 阅读 · 0 评论 -
Hive之分区表与分桶表的解读及应用
七、分区表/分桶表文章目录七、分区表/分桶表1、分区表1.1 分区表基本操作1.2 分区表二级分区1.3 动态分区调整2、分桶表1、分区表概念:分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive 中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。在查询时通过 WHERE 子句中的表达式选择查询所需要的指定的分区,这样的查询效率会提高很多。1.1 分区表基本操作1)引入分区表需要根据日期对日志进行管理, 通过部门信息模拟原创 2020-08-05 20:07:24 · 866 阅读 · 0 评论 -
Hive 中常用的查询语句解读及应用(分组、Join、排序语句)
文章目录Hive 中常用的查询语句2 、分组2.1 Group By 语句2.2 Having 语句3、Join 语句3.1 等值 Join3.2 表的别名3.3 内连接3.4 左外连接3.5 右外连接3.6 满外连接3.7 多表连接3.8 笛卡尔积4、排序4.1 全局排序(order by )4.2 采用别名排序4.3 多个列排序4.5 分区(distribute by)4.6 分区排序(Cluster By)Hive 中常用的查询语句2 、分组2.1 Group By 语句GROUP BY原创 2020-08-05 00:08:50 · 439 阅读 · 0 评论 -
Hive 查询的应用(基本查询的解读及应用)
文章目录六 、查询1、基本查询(select … from)1.1 全表和特定列查询1.2 列别名1.3 算术运算符1.4 常用函数1.5 Limit 语句1.6 Where 语句1.7 比较运算符(Between/In/ Is Null)1.8 Like 和 RLike1.9 逻辑运算符(And/Or/Not)六 、查询https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select查询语句语法:SELECT [ALL原创 2020-07-31 22:15:17 · 1002 阅读 · 0 评论 -
Hive 之 DML 数据操作语言应用(增删改)
文章目录五、DML 数据操作1、数据导入1.1 向表中装载数据(Load)1.2 通过查询语句向表中插入数据(Insert)1.3 查询语句中创建表并加载数据(As Select)1.4 创建表时通过Location指定加载数据路径1.5 Import 数据到指定 Hive 表中2 、数据导出2.1 Insert 导出2.2 Hadoop 命令导出到本地2.3 Hive Shell 命令导出2.4 Export 导出到 HDFS 上五、DML 数据操作data manipulation langua原创 2020-07-31 22:10:41 · 226 阅读 · 0 评论 -
Hive 之 DDL 数据库定义语言应用(重点)
文章目录四、DDL 数据定义1、创建数据库2、查询数据库2.1 显示数据库2.2 查看数据库详情2.3 切换当前数据库3、 修改数据库4、 删除数据库5 、创建表5.1 管理表5.2 外部表5.3 管理表与外部表的互相转换6、 修改表6.1 重命名表6.2 增加、修改和删除表分区6.3 增加/修改/替换列信息7、 删除表8、 清除表四、DDL 数据定义data defination language:数据库定义语言1、创建数据库(库和表在 HDFS 上都是以文件夹的形式存在)1.1 创建一个数原创 2020-07-31 22:10:10 · 880 阅读 · 0 评论 -
Hive 的 数据类型 解读及应用
文章目录三、Hive 数据类型1、基本数据类型2、集合数据类型2.1 案例练习3 、类型转化三、Hive 数据类型1、基本数据类型HIVEMySQLJAVA长度例子TINYINTTINYINTbyte1byte有符号整数2SMALINTSMALINTshort2byte有符号整数20INTINTint4byte有符号整数20BIGINTBIGINTlong8byte有符号整数20BOOLEAN无boolean布尔类原创 2020-07-31 22:09:07 · 347 阅读 · 0 评论 -
Hive 的常用命令(交互命令、常用命令、常见属性配置)
文章目录Hive 的常用命令7、Hive 常用交互命令8、Hive 其他命令操作Hive 的常用命令7、Hive 常用交互命令[xiaoxq@hadoop105 hive-3.1.2]$ bin/hive -helpusage: hive -d,--define <key=value> Variable substitution to apply to Hive commands. e.g. -d原创 2020-07-31 22:08:10 · 398 阅读 · 0 评论 -
Hive 的安装之启动 Hive
Hive 的安装之 Hive 的启动文章目录Hive 的安装之 Hive 的启动6、Hive 的启动6.1 初始化元数据库6.2 启动 metastore 和 hiveserver26.3 HiveJDBC 访问6、Hive 的启动6.1 初始化元数据库6.1.1 登录 MySQL[xiaoxq@hadoop105 lib]$ mysql -uroot -p密码6.1.2 新建 Hive 元数据库mysql> create database metastore;Query OK, 1原创 2020-07-31 22:07:19 · 2397 阅读 · 0 评论 -
Hive 之详细安装步骤解读
文章目录二、Hive 的安装1、Hive 安装地址2、MySQL 安装3、Hive 安装4、Hive 元数据配置到 MySQL5、安装 Tez 引擎6、Hive 的启动7、Hive 常用交互命令8、Hive 其他命令操作二、Hive 的安装1、Hive 安装地址1.1 Hive 官网地址http://hive.apache.org/1.2 文档查看地址https://cwiki.apache.org/confluence/display/Hive/GettingStarted1.3 下原创 2020-07-31 22:06:27 · 379 阅读 · 0 评论 -
Hive 的安装之 Tez 引擎的安装
文章目录Hive 的安装之 Tez 引擎的安装5、安装 Tez 引擎5.1 将 tez 安装包拷贝到集群,并解压 tar 包5.2 上传 tez 依赖到 HDFS5.3 新建 tez-site.xml5.4 修改 Hadoop 环境变量5.5 修改 Hive 的计算引擎5.6 尝试调节容量调度器的资源调度策略5.7 JVM堆内存溢出5.8 解决日志 Jar 包冲突Hive 的安装之 Tez 引擎的安装5、安装 Tez 引擎Tez 是一个 Hive 的运行引擎,性能优于MR。用 Hive 直原创 2020-07-31 22:05:11 · 1039 阅读 · 2 评论 -
Hive 安装之 MySQL 安装
Hive 安装之 MySQL 安装文章目录Hive 安装之 MySQL 安装2、MySQL 安装2、MySQL 安装2.1 检查当前系统是否安装过 MySQL[xiaoxq@hadoop105 ~]$ rpm -qa | grep mariadbmariadb-libs-5.5.56-2.el7.x86_64 //如果存在通过如下命令卸载[xiaoxq@hadoop105 ~]$ sudo rpm -e --nodeps mariadb-libs //用此命令卸载 mariadb2.2 将M原创 2020-07-31 22:04:12 · 222 阅读 · 0 评论 -
大数据技术 之 Hive (概论、优缺点、构架原理、与数据库区别)
文章目录大数据技术 之 Hive (概论、优缺点、构架原理、与数据库区别)一、Hive 基本概念1、Hive 概论1.1 Hive 简介1.2 Hive 本质2、Hive 的优缺点2.1 优点2.2 缺点3、Hive 构架原理3.1 用户接口:Client3.2 元数据:Metastore3.3 Hadoop3.4 驱动器:Driver4、Hive 和 数据库 比较4.1 查询语言4.2 数据更新4.3 执行延迟4.4 数据规模大数据技术 之 Hive (概论、优缺点、构架原理、与数据库区别)一、Hiv原创 2020-07-29 22:58:30 · 1516 阅读 · 0 评论