Hive
hive
May--J--Oldhu
这个作者很懒,什么都没留下…
展开
-
Hive常用设置命令(不显示info信息,开启动态分桶,设置本地模式,显示当前数据库,设置reduce个数)
Hive常用设置命令Hive常用设置命令1.不显示 info 信息2.设置 hive 属性在命令行显示当前数据库3.开启动态分区设置4.开启动态分桶5.order by可以按照位置编号排序6.设置reduce个数7.设置本地模式缩短运行时间Hive常用设置命令可以在hive-site.xml中进行长久设置1.不显示 info 信息set hive.server2.logging.operation.level=NONE2.设置 hive 属性在命令行显示当前数据库set hive.cli.p原创 2020-12-23 18:43:51 · 1786 阅读 · 3 评论 -
hive优化(expalin执行计划,本地模式,数据倾斜,并行执行,严格模式,JVM重用,推测执行)(五)
hive优化一.explain(执行计划)1.基本语法2.示例二.Fetch抓取(默认已开启)三.本地模式四.表的优化1.小表、大表join2.大表jion大表(1)空key过滤(2)空key转换3.MapJoin(默认已开启)(1)开启 MapJoin 参数设置(2)MapJoin工作机制(3)示例演示4.Group by5.Count(Distinct)去重统计6.笛卡尔积7.行列过滤8.动态分区调整9.分桶或分区五.数据倾斜1.调整Map数(1)小文件进行合并,减少map数(默认开启)(2)复杂文件增原创 2020-12-22 08:28:51 · 284 阅读 · 0 评论 -
项目实战-电子商务消费行为分析
电子商务消费行为分析一.简单介绍1.需要技能点2.需求概述二.前提条件三.问题分析1.Customer表2.Transaction表3.Store表4.Review表5.数据结构四.数据准备和了解1.数据获取2.检查行数和header行3.上传数据到HDFS4.创建适当的外部表来保存数据5.查看并了解数据五.数据清洗1.Clean and Mask customer_details2.Clean transaction_details into partition table3.Clean store_re原创 2020-12-21 17:42:04 · 1211 阅读 · 0 评论 -
Hive函数(内置函数(字符串函数,数学函数,日期函数,集合函数,条件函数,聚合函数,表生成函数)和自定义函数(自定义函数创建流程,临时函数,永久函数)))(四)
Hive函数(内置函数和自定义函数)一.内置函数1.字符串函数(1)ascii(2)base64(3)concat(4)concat_ws(5)format_number(6)substr,substring(7)instr(8)length(9)locate(10)printf(11)str_to_map(13)unbase64(14)upper,ucase(15)lower,lcase(16)trim,ltrim,rtrim(17)regexp_replace(18)regexp_extract(19)原创 2020-12-17 19:07:36 · 641 阅读 · 0 评论 -
hive表实现行转列和列转行
hive表行转列和列转行t1itemnumA1,2,3,4B2,5,1行转列(lateral view explode)--使用侧视图lateral view explode进行行转列create table t3 as with r1 as (select item ,nums from t1 lateral view explode(split(num,",")) t as nums) select * from r1;select * from t3;原创 2020-12-17 15:16:40 · 326 阅读 · 0 评论 -
Hive基础(数据类型,数据结构,数据库操作,数据表操作,内部表,外部表,临时表,装载数据,分区表,分桶表,视图,侧视图)(二)
Hive基础(数据类型,数据结构,数据库操作,数据表操作,内部表,外部表,临时表,装载数据,分区表,分桶表,视图,侧视图)八.hive数据类型1.基本数据类型(类似于SQL数据类型)2.集合数据类型九.hive数据结构十.数据库增删改查1.创建数据库2.使用数据库3. 查看数据库信息4.修改数据库信息5.查看当前数据库6. 删除数据库7.删除带表的数据库(强制删除)8.过滤显示查询的数据库9.显示当前数据库十一.数据表(table)1.建表语法(1)字段解释说明(2)Storage SerDe(3)Hive原创 2020-12-14 19:24:37 · 191 阅读 · 0 评论 -
hive初级练习50题(详细过程)
hive初级练习50题一.建库和建表1.表信息(1)课程表(course.txt)(2)成绩表(score.txt)(3)学生表(student.txt)(4)教师表(teacher.txt)2.建库建表二.练习50题(详细过程)1.查询"01"课程比"02"课程成绩高的学生的信息及课程分数2.查询"01"课程比"02"课程成绩低的学生的信息及课程分数3.查询平均成绩大于等于60分的同学的学生编号和学生姓名和平均成绩4.查询平均成绩小于60分的同学的学生编号和学生姓名和平均成绩 (包括有成绩的和无成绩的)5原创 2020-12-12 14:40:35 · 2488 阅读 · 3 评论 -
Hive基本内置函数,自定义函数以及性能优化
Hive函数及性能优化一.内置函数1.字符函数2.类型转换函数和数学函数3.日期函数4.集合函数5.条件函数6.聚合函数和表生成函数二.自定义函数1.自定义函数步骤三.Hive事务1.Hive事务基本概念(1).Hive事务的含义(2).Hive事务的ACID特性(3).Hive事务的特点(4).Hive事务的局限(5)Hive事务的开启和设置四.Hive PLSQL五.Hive性能调优1.Hive性能调优工具EXPLAIN(1)EXPLAIN作用(2)语法(3)示例2.Hive性能调优工具 - ANALY原创 2020-09-23 19:27:13 · 848 阅读 · 0 评论 -
Hive高级查询(join查询,装载数据(load,insert),数据导入导出(import,export),数据排序,聚合运算,窗口函数)(三)
Hive高级查询一.Hive的数据查询1.基本数据查询(1)SELECT基础(2)CTE和嵌套查询2.join关联查询(1)基本概念(2)示例(3)练习-SELECT及关联查询3.Hive join-mapjoin4.Hive集合操作(UNION)(1)基本概念(2)示例二.装载数据1.装载数据:insert(1)基本语法(2)示例三.Hive数据插入文件1.基本概念2.示例四.Hive数据交换-IMPORT/EXPORT1.基本概念五.Hive数据排序1.ORDER BY(1)基本概念(2)示例2.SOR原创 2020-09-21 17:19:16 · 635 阅读 · 0 评论 -
hive基础(什么是hive?hive优缺点,hive架构原理,hive操作(交互模式,命令行模式))(一)
hive基础一.什么是hive二.hive的优势和特点三.Hive发展历史及版本四.元数据管理五.基本命令六.hive架构(1)用户访问:jdbc,cli,webui(2)driver(3)其他七.命令行模式八.hive数据类型1.基本数据类型(类似于SQL数据类型)2.复杂数据类型九.hive数据结构十.数据库十一.数据表(table)1.分为内部表和外部表(1)内部表(管理表)(2)外部表(External Tables)2.Hive建表 分隔符3.Hive建表 - Storage SerDe4.Hiv原创 2020-09-20 13:59:03 · 668 阅读 · 1 评论 -
hive基本概述以及DDL,DMLc操作
HiveHive(一)一.hive基础1.hive产生背景2.Hive含义3.Hive特点二.Hive架构1.用户接口2.跨语言服务3.底层的Driver4.元数据存储系统5.执行流程三.Hive数据存储模型四.数据类型1.基本数据类型2.复杂数据类型示例建表五.Hive操作1.Hive DDL(1)创建库1)创建普通的数据库2)创建库的时候检查存与否3)创建库的时候带注释4)创建带属性的库(2)查看库1)查看数据库2)显示数据库的详细属性信息3)查看正在使用的哪一个库(3)删除库1)删除不含表的数据库2)原创 2020-09-17 22:37:46 · 426 阅读 · 0 评论