数仓工具—Hive的严格模式和本地模式(17)

最新推荐文章于 2025-05-09 21:58:43 发布
最新推荐文章于 2025-05-09 21:58:43 发布
阅读量5.5w 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Hive 实战 文章标签： 大数据 hive 数据仓库 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/king14bhhb/article/details/111795036

本地模式

0.7版本后Hive开始支持任务执行选择本地模式(local mode)大多数的Hadoop job是需要hadoop提供的完整的可扩展性来处理大数据的。

在hive中运行的sql有很多是比较小的sql,数据量小,计算量小 ，这些比较小的sql如果也采用分布式的方式来执行,那么是得不偿失的.因为sql真正执行的时间可能只有10秒,但是分布式任务的生成的其他过程的执行可能要1分钟.这样的小任务更适合采用lcoal mr的方式来执行,就是在本地来执行,通过把输入数据拉回客户端来执行.

启用方式

  • set hive.exec.mode.local.auto=true;(默认为false)

当一个job满足如下条件才能真正使用本地模式：

  1. job的输入数据大小必须小于参数：hive.exec.mode.local.auto.inputbytes.max(默认128MB)
  2. job的map数必须小于参数：hive.exec.mode.local.auto.tasks.max(默认4)
  3. job的reduce数必须为0或者1

例子

我这里有一张表，其实就是我们在前面教程hive streaming中演示用到的,我先在不开启本地模式下执行一下


                

                
                
        

    

    
  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        


    



                



	

		

			

				
					
Hive安装配置 - 本地模式

				
			

			

				

					howard2005的专栏
				

				

					11-20
					
					1613
					
				

			

		

		

			
				
在Hadoop分布式集群上安装配置本地模式的Hive

			
		

	



                

            
              



	

		

			

				
					
数仓工具—Hive优化

				
			

			

				

					
				

				

					12-16
					
					4万+
					
				

			

		

		

			
				
做数仓的都知道，Hive 的优化或者是HQL 的优化对数仓至关重要，这一节我们将这些优化点一网打尽

			
		

	



              


  
              

                


	

		

			

				
					
Hive-企业级调优(表的优化)

				
			

			

				

					weixin_43586713的博客
				

				

					10-20
					
					472
					
				

			

		

		

			
				
表的优化小表大表Join(MapJOIN)案例实操大表 Join 大表空 KEY 过滤空 key 转换
小表大表Join(MapJOIN)
将 key 相对分散，并且数据量小的表放在 join 的左边，可以使用 map join 让小的维度表先进内存。在 map端完成 join。
实际测试发现：新版的 hive 已经对小表 JOIN 大表和大表 JOIN 小表进行了优化。小表放在左边和右边已经没有区别。
案例实操
1）需求介绍
测试大表 JOIN 小表和小表 JOIN 大表的效率
2）开启 MapJoin 

			
		

	





	

		

			

				
					
【Hive面试必知】Hive的三种运行模式详解：本地模式、MapReduce模式与Tez、Spark模式

				
			

			

				

					IT成长日记的博客
				

				

					05-09
					
					1101
					
				

			

		

		

			
				
Hive作为Hadoop生态系统中的数据仓库工具，提供了三种核心运行模式以适应不同场景的需求。本地模式（Local Mode）适合小数据量测试和快速验证，无需依赖Hadoop集群，但性能有限。MapReduce模式（MR Mode）适用于大规模批处理，具有高容错性，但延迟较高。Tez/Spark模式则适合交互式查询和低延迟场景，通过DAG优化和内存计算提升性能，但资源占用较大。

			
		

	



		

			
		



	

		

			

				
					
Hive 运行模式：严格模式

				
			

			

				

					sunwenxu的博客
				

				

					07-09
					
					253
					
				

			

		

		

			
				
在实际的项目集群环境中，hive的运行模式肯定是严格模式
配置方式：
Hive CLi 临时
hive-site.xml 全局

配置

    hive.mapred.mode
    strict //默认是nonstrict  不严格
    
      The mode in which the Hive operations are being performed. 
      In...

			
		

	





	

		

			

				
					
hive的本地模式

				
			

			

				

					First_____的博客
				

				

					06-09
					
					869
					
				

			

		

		

			
				
Hoodoop处理数据时,数据量小,可能会出现启动任务的mr时会比实际处理任务的时间长,Hive可以通过本地模式使用单机来处理所有的任务,对于小的数据量,执行时间会少很多.

设置 hive.exec.mode.local.auto 为true ,让hive在适当的时候启用本地模式,会减少小数据的执行时间

参数:

//开启本地模式 mr
set hive.exec.mode.local.auto=true;
//设置 local mr 的最大输入数据量，当输入数据量小于这个值时采用 local mr 方

			
		

	





	

		

			

				
					
hive中的本地模式

				
			

			

				

					dsl200970的博客
				

				

					04-19
					
					490
					
				

			

		

		

			
				
hive中的hql语句的执行大部分最后转化为了mr，但是执行的过程非常的慢，可以使用本地模式提高效率，不过不适合大数据量的时候。

需要开启本地模式：

sethive.exec.mode.local.auto=true;

这时再去执行相同的hql时，会发现速度提高很多。但是，本地模式主要用来做调试，不能配置到hive-site.xml中，因为本地模式，会只在当前机器上执行mr，如果

			
		

	





	

		

			

				
					
数仓简介及hive全面总结

				
			

			

				

					erainm
				

				

					11-02
					
					1496
					
				

			

		

		

			
				
1.	数据仓库主要特征
2.	数据仓库(OLAP)与数据库(OLTP)区别
3.	数据仓库的分层
4.	数据仓库之ETL
5.	Hive的特点
6.	Hive架构
7.	Hive的安装模式
8.	Hive的交互方式
9.	Hive各种表
10. ORDER BY、Sort By、Distribute By、Cluster By区别：
11. Hive函数：
13. Hive的数据存储格式：
14. Hive调优：
15. hive小文件过多问题

			
		

	





	

		

			

				
					
数仓建模—OLTP 和 OLAP

					
热门推荐

				
			

			

				

					
				

				

					06-15
					
					5万+
					
				

			

		

		

			
				
在国内，不论传统公司还是互联网公司，都开始利用OLAP技术分析挖掘大数据的价值，国内除BAT等大厂会自研OLAP产品外，其他中小互联网公司普遍拥抱开源，会使用Kylin、Presto、impala、Druid和Greenplum等开源技术来实现OLAP分析查询业务。在调研了市面上主流的开源OLAP引擎后发现，目前还没有一个系统能够满足各种场景的查询需求。其本质原因是，没有一个系统能同时在数据量、性能、和灵活性三个方面做到完美，每个系统在设计时都需要在这三者间做出取舍。

			
		

	





	

		

			

				
					
Hive离线数据仓库

				
			

			

				

					将懒惰进行到底
				

				

					11-22
					
					4724
					
				

			

		

		

			
				

Hive是基于Hadoop的数据仓库工具，提供了一系列的工具，可以用来进行数据提取、转化、加载，是一种可以存储、查询和分析存储在Hadoop中的大规模数据机制。它可以将结构化的数据文件映射成一张表，并提供完成的sql查询功能，可以将sql语句转换成MapReduce任务进行运行。
Hive本质上是基于Hadoop的一种分布式计算框架，底层仍然是MR，本质上是离线大数据分析工具。
数据仓库 VS ...

			
		

	





	

		

			

				
					
Hive-企业级调优-(本地模式/JVM重用/严格模式/并行模式)

				
			

			

				

					weixin_43586713的博客
				

				

					10-20
					
					557
					
				

			

		

		

			
				
企业级调优详细讲解执行计划(Explain)二级目录三级目录
执行计划(Explain)
二级目录
三级目录



			
		

	





	

		

			

				
					
Hive本地模式详解

				
			

			

				

					My_wife_QBL的博客
				

				

					07-29
					
					911
					
				

			

		

		

			
				
Hive本地模式是Hive的运行方式之一。在这种模式下，Hive将在本地文件系统中运行，而不是在Hadoop集群中。用户可以将数据存储在本地文件系统上，例如个人电脑的硬盘驱动器中，Hive将在该环境中执行查询和数据分析任务。Hive的本地模式为用户提供了一种简单易用的数据处理和分析方式，特别适合于开发、测试和小规模数据处理。通过在本地文件系统中运行，用户可以快速验证HiveQL查询，提高开发效率。尽管本地模式在处理小规模数据时表现优异，但在面对大规模数据集时，其性能瓶颈和资源限制使得集群模式更具优势。

			
		

	





	

		

			

				
					
Hive 2. 本地模式，分布式配置

				
			

			

				

					Henvealf的博客
				

				

					11-30
					
					1182
					
				

			

		

		

			
				
这里假设你已经配置好了 Hadoop 分布模式
本地模式的配置如果Hadoop在本地模式下，所有的文件都会存储在本地文件系统中，而不是分布式文件系统中。用户的 job 都在同一个JVM实例中执行所有的任务。如果用户经常使用本地模式，那么就必要为 Derdy metastore_db 配置一个标准的位置。如果用户可以指定一个不同的目录来存储表数据。本地模式下，默认的路径是：file:///user/h

			
		

	





	

		

			

				
					
Hive本地模式安装（傻瓜式）

				
			

			

				

					TANSHENGYAO的博客
				

				

					05-22
					
					1250
					
				

			

		

		

			
				
安装前提：
MySQL
Hadoop
安装准备：
MySQL中创建hive数据库
Hadoop集群启动
apache-hive-2.3.7-bin.tar.gz
mysql-connector-java-5.1.49-bin.jar（在官网下载的tar文件需解压后里面才有）
安装过程：
1、  将需要的压缩包拷贝到虚拟机里（不必多说）
2、  将apache-hive-2.3.7-bin.tar.gz解压到/usr/local/
（/usr/local是我的安装目录，至于你想装哪装哪）
tar -zxvf 

			
		

	





	

		

			

				
					
Hive本地模式安装（详细）

				
			

			

				

					阿极的博客
				

				

					12-01
					
					3421
					
				

			

		

		

			
				
本地模式安装采用外部数据库存储元数据，该模式不需要单独开启Metastore服务，因为本地模式使用的是和Hive在同一个进程中的Metastore服务。

			
		

	





	

		

			

				
					
hive搭建 -----内嵌模式和本地模式

				
			

			

				

					一个大数据的爱好者
				

				

					09-06
					
					1448
					
				

			

		

		

			
				
hive的搭建，常用的本地模式以及不常用的内嵌模式

			
		

	





	

		

			

				
					
Hive 的本地模式（Local Mode）是什么？何时使用？

				
			

			

				

					2401_83088008的博客
				

				

					03-20
					
					934
					
				

			

		

		

			
				
Hive 本地模式是指在单机环境下执行查询任务，无需依赖 Hadoop 集群或 YARN 资源管理器。无分布式计算：所有任务在单个 JVM 进程中运行。无集群依赖：无需启动 HDFS、YARN 等服务。快速启动：省去资源申请与任务调度耗时。Hive 本地模式是开发者手中一把 “瑞士军刀”，尤其适合在资源受限环境下快速迭代。通过合理配置与场景化应用，可缩短 80% 的调试时间。但需谨记：本地模式并非万能钥匙，其核心价值在于逻辑验证而非性能测试。掌握本地与集群模式的切换艺术，方能在效率与准确性间游刃有余。

			
		

	





	

		

			

				
					
Hive其一，简介、体系结构和内嵌模式、本地模式的安装

				
			

			

				

					出发行进
				

				

					12-19
					
					1047
					
				

			

		

		

			
				
Hive学习的开始，讲解简介体系结构和安装的模式：内嵌模式，本地模式

			
		

	





	

		

			

				
					
hive参数设置

				
			

			

				

					stable_zl的博客
				

				

					07-16
					
					6459
					
				

			

		

		

			
				
一、内存设置
set mapreduce.map.memory.mb=4096;// 每个Map Task需要的内存量
set mapreduce.map.java.opts=-Xmx3276M; // 每个Map Task 的JVM最大使用内存
set mapreduce.reduce.memory.mb=4096; // 每个Reduce Task需要的内存量
set mapreduce.reduce.java.opts=-Xmx3276M; // 每个Reduce Task 的JVM最大使用内存
se

			
		

	





	

		

			

				
					
hive本地模式


					
最新发布

				
			

			

				

					08-02
				

			

		

		

			
				
Hive支持本地模式（Local Mode）的执行，这种模式适合在单机环境下进行测试或处理小规模数据。本地模式通过将MapReduce任务直接在本地运行，而非提交到Hadoop集群，从而减少资源开销和提升执行效率。以下是Hive本地模式的配置方法和使用指南。

### 配置Hive本地模式

1. **修改Hive配置文件**  
   在`hive-site.xml`文件中添加或修改以下配置项以启用本地模式：

   ```xml
   <property>
     <name>hive.exec.mode.local.auto</name>
     <value>true</value>
     <description>启用自动本地模式执行</description>
   </property>
   ```

   通过设置`hive.exec.mode.local.auto`为`true`，Hive将根据数据量和任务复杂度自动决定是否使用本地模式执行任务[^1]。

2. **设置本地模式的最大输入数据量**  
   Hive本地模式适用于小规模数据集，因此可以通过以下参数限制输入数据的大小：

   ```xml
   <property>
     <name>hive.exec.mode.local.auto.inputbytes.max</name>
     <value>134217728</value>
     <description>自动本地模式下输入数据的最大字节数，默认为128MB</description>
   </property>
   ```

   上述配置限制了Hive在自动本地模式下处理的最大输入数据量，默认值为128MB。如果输入数据量超过此限制，Hive将回退到集群模式执行。

3. **设置本地模式的最大任务数**  
   为了控制本地模式的任务复杂度，可以设置任务的最大数量：

   ```xml
   <property>
     <name>hive.exec.mode.local.auto.tasks.max</name>
     <value>4</value>
     <description>自动本地模式下任务的最大数量，默认为4</description>
   </property>
   ```

   上述配置限制了本地模式下并行执行的任务数量，默认值为4。如果任务数量超过此限制，Hive将不再使用本地模式[^1]。

### 使用Hive本地模式

在Hive查询执行时，可以通过HiveQL语句动态启用本地模式，而无需更改配置文件。例如，在Hive命令行界面中执行以下命令：

```sql
SET hive.exec.mode.local.auto=true;
SET hive.exec.mode.local.auto.inputbytes.max=134217728;
SET hive.exec.mode.local.auto.tasks.max=4;
```

上述命令在当前会话中启用了本地模式，并设置了输入数据量和任务数的限制。这种方式适用于临时测试或调试场景[^2]。

### 验证本地模式是否生效

执行查询后，可以通过查看Hive的执行日志或任务信息验证本地模式是否生效。如果任务未提交到Hadoop集群，并且执行时间明显缩短，则说明本地模式已成功启用。

例如，执行以下查询：

```sql
SELECT * FROM x;
```

如果查询结果返回迅速且未出现Hadoop任务日志，则表示任务已通过本地模式执行。

### 注意事项

- **数据规模限制**：本地模式适用于小规模数据处理，大规模数据仍需使用Hadoop集群模式。
- **性能优化**：适当调整`hive.exec.mode.local.auto.inputbytes.max`和`hive.exec.mode.local.auto.tasks.max`参数，以匹配实际数据量和任务需求。
- **兼容性**：确保Hive版本支持本地模式特性，部分旧版本可能需要手动编译或更新。

通过上述配置和使用方法，可以在Hive中启用本地模式，从而在单机环境下高效处理小规模数据集。



			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
不二人生

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值