Hive
文章平均质量分 78
Hive学习记录
默默走开
待我荣耀归来,我娶你可好?
展开
-
【Hive】Hive中表创建方式及其对比
HIve表的创建方式【1】craete table首先就是最常见的方式,通 create table 方式进行建立hive表例如????create [external] table [IF NOT EXISTS] tableName(column columnType comment 'annotation',column columnType comment 'annotation',column columnType comment 'annotation',...)partit原创 2020-08-15 17:36:00 · 1556 阅读 · 0 评论 -
【Hive】MR实现HQL操作的原理
我们知道,Hive默认使用的计算引擎是MR,但有没有想过我们写的HQL语句是如何转换为MR程序的?所以博主总结了一些简单HQL语句转换为MR的基本原理【1】常用SQL转换操作 Join的实现原理 对于SQL来说,join操作可以说是最常用的操作了,那么是如何转换为MR程序的呢?SQL语句如下????select u.name, o.orderid from order o join user u on o.uid = u.uid;在map的输出value中为不同表的数据打上tag标记,在原创 2020-07-27 20:25:02 · 3696 阅读 · 1 评论 -
【HIve】Hive入门解析(五)
众所周知,Hive中有许多函数…什么聚合函数、开窗函数,数学函数,时间函数等等…所以今天我就来总结一下Hive中常用的函数,以便日后方便查询!聚合函数【1】count(返回行数): count(*)\count(1)\count(常量)【2】sum(组内某列求和) sum(num) 忽略null值【3】min(组内某列最小值): min(num/str) 忽略null...原创 2020-04-14 11:58:52 · 6918 阅读 · 4 评论 -
【Hive】Hive入门解析(六)
Hive调优【1】 Fetch抓取Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算例如:SELECT * FROM emp; 在这种情况下,Hive可以简单地读取emp对应的存储目录下的文件,然后输出查询结果到控制台在hive-default.xml.template文件中hive.fetch.task.conversion默认是more,老版本hive默认...原创 2020-04-12 10:37:25 · 6557 阅读 · 6 评论 -
【Hive】Hive练习题(三)
我又。。。。。。。。。。。。。。来了!我又给你们收集到了Hive练习题来了!!!题目如下????背景说明:以下表记录了用户每天的蚂蚁森林低碳生活领取的记录流水table_name:user_low_carbon字段描述user_id用户IDdata_dt日期low_carbon减少碳排放(g)建表语句????create table user_low_...原创 2020-04-11 14:58:47 · 5976 阅读 · 4 评论 -
【Hive】Hive练习题(二)
我又又又又…来了,给大家收集了一些hive练习题,以供大家学习!题目1如下????我们有如下的用户访问数据要求使用SQL统计出每个用户的累积访问次数,如下表所示:数据如下????u01 2017/1/21 5u02 2017/1/23 6u03 2017/1/22 8u04 2017/1/20 3u01 ...原创 2020-04-08 11:58:46 · 5474 阅读 · 2 评论 -
【Hive】Hive练习题(一)
众所周知,Hive的窗口函数可谓是博大精深,所以为了巩固一下大家的窗口函数的使用,我给大家收集了一些关于窗口函数简单使用的题,以供大家学习!题目如下????(1)查询在2017年4月份购买过的顾客及总人数(2)查询顾客的购买明细及月购买总额(3)上述的场景,要将cost按照日期进行累加(4)查询顾客上次的购买时间(5)查询前20%时间的订单信息数据如下????create table bu...原创 2020-04-07 13:48:56 · 6536 阅读 · 2 评论 -
【Hive】Hive入门解析(四)
一、Hive查询GROUP BY语句GROUP BY语句通常会和聚合函数一起使用,按照一个或者多个列队结果进行分组,然后对每个组执行聚合操作。HAVING语句having与where不同点????1)where针对表中的列发挥作用,查询数据;having针对查询结果中的列发挥作用,筛选数据2)where后面不能写分组函数,而having后面可以使用分组函数3)having只用于gr...原创 2020-04-06 21:50:16 · 5480 阅读 · 2 评论 -
【Hive】Hive入门解析(三)
一、Hive数据类型1、基本数据类型2、复杂类型二、Hive存储格式Hive会为每个创建的数据库在HDFS上创建一个目录,该数据库的表会以子目录形式存储,表中的数据会以表目录下的文件形式存储。对于default数据库,默认的缺省数据库没有自己的目录,default数据库下的表默认存放在/user/hive/warehouse目录下(1)textfiletextfile为...原创 2020-04-06 19:30:18 · 5720 阅读 · 4 评论 -
【Hive】Hive入门解析(二)
一、Hive安装与基本使用1.Hive安装(确保MySql可用)1.解压Hive安装包2.配置Hive环境变量export HIVE_HOME=/export/servers/hiveexport PATH=$PATH:$HIVE_HOME/bin3.进入conf目录mv hive-env.sh.template hive-env.shvim hive-env.sh...原创 2020-04-06 19:28:10 · 5600 阅读 · 1 评论 -
【Hive】Hive错误记录
很开心,今天在搭建Hive的时候,遇到一个错误,如下????WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableException in thread "main" java.la...原创 2020-04-05 13:34:22 · 7065 阅读 · 0 评论 -
【Hive】Hive入门解析(一)
一、Hive简介1.什么是HiveHive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能(HQL);其本质是将SQL转换为MapReduce的任务进行运算,底层由HDFS来提供数据的存储,hive可以理解为一个将SQL转换为MapReduce的任务的工具2.Hive的特点可扩展 Hive可以自由的扩展集群的规模,一般情况下...原创 2019-11-19 11:46:01 · 12491 阅读 · 9 评论