hive基础知识

最新推荐文章于 2020-12-17 17:38:52 发布
最新推荐文章于 2020-12-17 17:38:52 发布
阅读量448 收藏 1
点赞数
分类专栏： 学习笔记 SQL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012328476/article/details/70213245
版权
1. 查看hive版本号：

hive --version --------> 1.2.1

2. GROUP BY
可以通过字段所在的位置进行groupby：对于1.2.1版本： 
SET  hive.groupby.orderby.position.alias = true;
没有hive-287的版本，只能使用COUNT(1)替代COUNT(*)，否则一样

3. LEFT SEMI JOIN
只保留左表中的值，相当于以右表为基准对左表进行筛选

4.数据类型
hivemysql
stringvarchar
intint
hive-》mysql数据类型要一致
5. 建表及分区
hive可以建立分区表，mysql不需要。hive采用HDFS存储，不能建立索引，mysql可以建立索引加快查询。不同机制原理，浅浅了解下。 
CREATE TABLE table_name (
       col_name datatype,
        ...
)COMMENT ‘some_description’
PARTITION BY(col_name datatype)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ‘\t’;
内部表及外部表
LOAD DATA [LOCAL] INPATH 'filepath' 
INSERT [OVERWRITE] INTO TABLE tablename 
[PARTITION (partcol1=val1, partcol2=val2 ...)]




SELECT statement


INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]







 
 
 

 

 
 
 


                

        

        

    

  


    

      

        

            

              
                
                  夏殇0808
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
hive基础知识总结

				
			

			

				

					09-18
				

			

		

		

			
				
### Hive基础知识总结  #### 一、Hive服务  Hive是一个建立在Hadoop之上的数据仓库工具，主要用于处理大量结构化数据集。它提供了类似SQL的查询语言（HiveQL）来简化数据处理任务。Hive的核心服务主要包括CLI、...

			
		

	



                

              
                



	

		

			

				
					
Hive聚合运算

				
			

			

				

					qianchun22的博客
				

				

					09-19
					
					1197
					
				

			

		

		

			
				
Hive聚合运算Hive聚合运算GROUP BYHAVING基础聚合高级聚合
Hive聚合运算
GROUP BY

group by用于分组
Hive基本内置聚合函数与group by一起使用
如果没有指定group by子句，则默认聚合整个表
除聚合函数外，所选的其他列也必须包含在group by中
group by支持使用case when或表达式
支持按位置编号分组：set hive.groupby.orderby.position.alias=true;
案例：

#执行失败(原因：除聚合函数外，所

			
		

	



                


  
              

                


	

		

			

				
					
20190320-初识Hive

				
			

			

				

					鲨鱼胃的博客
				

				

					03-20
					
					357
					
				

			

		

		

			
				
Hive概述

hive是什么？
基于Hadoop、数据仓库、结构化、类SQL、MapReduce任务
架构



基本组成（用户接口）
CLI
JDBC/ODBC
Web UI
元数据存储
1）元数据是什么？
存储在Hive中的数据的描述信息
2）有哪些？
表的名、表的列和分区以及属性（内部表和外部表）、表的数据所在目录
3）存在哪儿？
自带Derby。缺点：不适合多用户操作，并且数据存储目录不...

			
		

	





	

		

			

				
					
hive数据排序、和窗口函数

				
			

			

				

					lyq7269的博客
				

				

					07-13
					
					4686
					
				

			

		

		

			
				
一、hive的四种排序
1. Order by 可以指定desc降序 asc升序
Order by会对输入做全局排序，因此只有一个Reducer（多个Reducer无法保证全局有序，即使设置了多个Reduce，程序依然会按照一个Reduce进行排序）。Order by全局排序，又一个缺点，就是只有一个Reducer，会导致数据规模较大是，消耗较长的计算时间。
案例演示：
-- 创建一个分数表
create table score(
stu_id int,
stu_name string,
stu_class

			
		

	



		

			
		



	

		

			

				
					
大数据——Hive高级查询

				
			

			

				

					蜂蜜柚子加苦茶
				

				

					09-29
					
					829
					
				

			

		

		

			
				
Hive高级查询Hive查询SELECT基础CTE和嵌套擦查询进阶语句Hive JOIN关联查询MAPJOINHive集合操作（UNION）
Hive查询
SELECT基础
SELECT用于映射符合指定查询条件的行
Hive SELECT是数据库标准SQL的子集


使用方法类似于Mysql
 SELECT 1;
 SELECT [DISTINCT] column_nam_list FROM table_name;
 SELECT * FROM table_name;
 SELECT * FROM empl

			
		

	





	

		

			

				
					
2020.9.17hive基础命令以及hive高级命令

				
			

			

				

					m0_49140390的博客
				

				

					12-17
					
					1869
					
				

			

		

		

			
				
一、hive基础命令

前提：SELECT用于映射符合指定查询条件的行

   Hive SELECT是数据库标准SQL的子集

1.hive建表高阶语句：

(1)CTAS-->AS SELECT建表


create table ctas_employee as select * from employee;


CTAS不能创建partition,external,bucket

（2）CTE建表

注这里连接的r1和r3查询的字段要相同


create table cte...

			
		

	





	

		

			

				
					
hive基础知识复习笔记.zip

				
			

			

				

					05-11
				

			

		

		

			
				
以下是对Hive基础知识的详细阐述：  1. **Hive架构**：  Hive的核心组件包括：Hive Metastore、Driver、Compiler、Executor和HDFS。Metastore存储元数据，如表结构、分区信息等；Driver接收查询，编译HQL为执行计划...

			
		

	





	

		

			

				
					
基于Hadoop的数据仓库Hive基础知识

				
			

			

				

					02-25
				

			

		

		

			
				
Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive将HQL语句转换成MR任务进行...

			
		

	





	

		

			

				
					
Clickhouse基础知识

				
			

			

				

					05-26
				

			

		

		

			
				
ClickHouse 基础知识  ClickHouse 是俄罗斯 Yandex 公司于 2016 年开源的一个用于联机分析的列式存储数据库管理系统(DBMS)，允许在运行时创建表和数据库、加载数据和运行查询，无需重新配置或重启服务，MPP 架构，...

			
		

	





	

		

			

				
					
Hive介绍

				
			

			

				

					CSDN_bird的博客
				

				

					06-19
					
					299
					
				

			

		

		

			
				
Hive(数据库仓库工具)
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转化为MapReduce任务进行裕兴。其优点是学习成本低，可以通过类Sql语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
Hive是建立在Hadoop上的数据仓库基础架构，它提供...

			
		

	





	

		

			

				
					
一、hive介绍

				
			

			

				

					风子的博客
				

				

					05-18
					
					304
					
				

			

		

		

			
				
一、什么是hive？
Hive：由Facebook开源用于解决海量结构化日志的数据统计。
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
HIVE本质是：将HQL转化成MapReduce程序

1）Hive处理的数据存储在HDFS
2）Hive分析数据底层的实现是MapReduce
3）执行程序运行在Yarn上
二、Hive的优缺点
1、优点
1)操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。
2)避免了去写MapReduce，减

			
		

	





	

		

			

				
					
hive实用教学

				
			

			

				

					qq_40784783的博客
				

				

					01-26
					
					3555
					
				

			

		

		

			
				
话不多说，直接上货：
hive -S :进入hive的静默模式，只显示查询结果，不显示执行过程；
hive -e ‘show tables’ :直接在操作系统命令下执行hive语句，不需要进入hive交互模式；
source /root/my.sql; :在hive模式下使用source命令执行.sql文件；
 
t1:创建普通表；
t2:在hdfs中的指定目录创建表；
t3:创建列

			
		

	





	

		

			

				
					
hive在查询中的过滤和排序

				
			

			

				

					刘小生Star
				

				

					07-18
					
					802
					
				

			

		

		

			
				
hive在查询中的过滤
explain select * from emp where deptno = 10 and sal < 2000;  --显示具体过程
--查询10号部门的员工
select * from emp where deptno = 10;

--查询名叫KING的员工
select * from emp where ename = ‘KING’;   ---注意名字的...

			
		

	





	

		

			

				
					
mysql 中同时使用orderby和groupby的分析

					
热门推荐

				
			

			

				

					我想问问天的专栏
				

				

					12-28
					
					2万+
					
				

			

		

		

			
				
最近做项目写sql的时候同时使用到了order by 和 group by.然而查询出来的结果不是自己想象中的那样.下面来分析一样原因: 
mysql 写sql的顺序: 
        select -> from-> where->group by->having->order by.  
但mysql的解析器执行顺序: 
        from-> where->group by->havi

			
		

	





	

		

			

				
					
2020.9.18课堂笔记(hive数据排序：ORDER BY、SORT BY、DISTRIBUTE BY、CLUSTER BY)

				
			

			

				

					超可爱慕之
				

				

					09-19
					
					934
					
				

			

		

		

			
				
hive
1.order by
ORDER BY (ASC|DESC)类似于标准SQL
只使用一个Reducer执行全局数据排序
速度慢,应提前做好数据过滤
支持使用CASE WHEN或表达式
支持按位置编号排序:set hive.groupby.orderby.position.alias=true;
2.SORT BY/DISTRIBUTE BY
SORT BY对每个Reducer中的数据进行排序
当Reducer数量设置为1时，等于ORDER BY
排序列必须出现在SELECT column列表中
D

			
		

	





	

		

			

				
					
Hive高阶语句（Load、Insert、排序、聚合运算）

				
			

			

				

					qq_43012693的博客
				

				

					09-18
					
					1359
					
				

			

		

		

			
				
我们在前面的文章中介绍了Hive的基础语法和高阶查询，本篇将继续带大家学习Hive的高阶语句。
目录一级目录二级目录三级目录装载数据：Loadinsert插入多插入插入到分区插入或导出到文件数据交换
一级目录
二级目录
三级目录
装载数据：Load
我们在前面的文章中也有使用过load的案例，这里再详细给大家介绍一下。Load用于在Hive中移动数据，可以实现数据的导入，上传。
语法格式：
load data [local] inpath ‘路径’ insert [overwrite] into table

			
		

	





	

		

			

				
					
数据仓库----Hive进阶篇  一

				
			

			

				

					s646575997的博客
				

				

					05-21
					
					1万+
					
				

			

		

		

			
				
一、数据的导入1、使用Load语句执行数据的导入1.语法：
    其中（中括号中表示可加指令）：
        LOCAL：表示指定的文件路径是否是本地的，没有则说明是HDFS上的文件路径。
        OVERWRITE：表示覆盖表中的已有数据。
        PARTITION ()：如果是向分区表中导入数据的话需要指定分区。
2.实例：
    (1).无分区情况：
    其中的'

			
		

	





	

		

			

				
					
Hive中的 group by position与order by position

				
			

			

				

					Harper
				

				

					01-03
					
					2456
					
				

			

		

		

			
				
在写SQL的时候，如果group by的column 比较复杂，有的数据库中可以写成 group by position的形式，如:

SELECT 
   CASE WHEN a.f1=1 THEN 'a' WHEN a.f1=2 THEN 'b' ELSE c END AS col1,
   sum(a.f2) AS col2
FROM a
GROUP BY 1;


Hive中可以通过设置
...

			
		

	





	

		

			

				
					
Hive进阶_Hive数据查询

				
			

			

				

					diwu20060107的博客
				

				

					01-23
					
					92
					
				

			

		

		

			
				
简单查询和fetch task

简单查询：

简单查询的 fetch task 功能，从HDFS拉取，不用map reduce. 前两种配置，当前session有效。修改hive-site.xml永久有效。



查询中使用过滤

在查询中使用排序
排序使用别名时要开启使用别名模式：set hive.groupby.orderby.position.al...

			
		

	





	

		

			

				
					
hive基础知识选择题

					
最新发布

				
			

			

				

					07-03
				

			

		

		

			
				
下面是一些关于Hive基础知识的选择题：  1. Hive的主要特点是什么？ a) 提供类似SQL的查询语言 b) 可以在Hadoop集群上进行数据存储和分析 c) 可以处理结构化和半结构化数据 d) 所有选项都正确  答案：d) 所有选项都...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值