Hive集群环境搭建之本地模式（derby）

最新推荐文章于 2024-05-14 02:38:47 发布
最新推荐文章于 2024-05-14 02:38:47 发布
阅读量679 收藏 1
点赞数
文章标签： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39131779/article/details/83384253
版权

文章目录

搭建集群的模式有三种

  1. 本地模式（derby）
  2. 本地模式（mysql）
  3. 多用户模式

Hive的原理详解

Hive的原理

1. 源码包下载及解压

http://mirror.bit.edu.cn/apache/hive/

2. 集群的环境

… Active NameNode Standby NameNode DataNode Zookeeper ZKFC JournalNode ResourceManage NodeManager
node01 √ - - - √ √ √
node02 - √ √ √ √ √ √ √
node03 - - √ √ - √ √
node04 - - √ √ - - √

3. 修改hive-site.xml文件

          需要注意，刚开始解压的包是没有hive-site.xml文件的，需要把hive-site.xml.template文件复制一份为hive-site.xml.
此文件在/conf文件夹中


                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  zzx_cs
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    1
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
Hive集群环境搭建之本地模式（多用户模式）

				
			

			

				

					qq_39131779的博客
				

				

					10-25
					
					691
					
				

			

		

		

			
				
文章目录搭建集群的模式有三种1. 源码包下载及解压2. 集群的环境3. MySQL服务端的设置3.1 安装Mysql服务端3.2 开启服务3.3 进入MySQL修改权限3.4 需要将mysql的jar包拷贝到$HIVE_HOME/lib目录下4. 修改hive-site.xml文件(服务端的，即hive包所在的节点)5. 开启服务端的Metasrote服务6.客户端Hive源码包下载及解压6.1 ...

			
		

	



                

              
                



	

		

			

				
					
Hive修改derby为mysql数据库

				
			

			

				

					Arno的博客
				

				

					03-28
					
					1274
					
				

			

		

		

			
				
一、概述

hive可以管理hdfs上的文件，用表的形式来管理文件数据。而表名、表里有哪些字段，字段类型、哪张表存在哪个数据下等这些表信息，称之为hive的元数据信息
默认情况下，hive的元数据信息不是存在hdfs上的，而是存在hive自带的derby关系型数据库里的
Hive安装完成之后，通常都需要替换元数据库，目前Hive只支持derby和mysql两种元数据库，需要将元数据库替换为MySQ...

			
		

	



                


  
              

                


	

		

			

				
					
大数据之Hive 集群搭建 完整使用（第二章）

				
			

			

				

					小坏说后端
				

				

					09-01
					
					4052
					
				

			

		

		

			
				
大数据之Hive 集群搭建 完整使用一、Hive 安装地址1、Hive 官网地址2、文档查看地址3、下载地址4、github 地址二、Hive 安装部署1、把下载的hive 包上传2、解压3、修改 apache-hive-3.1.2-bin.tar.gz 的名称为 hive-3.1.24、修改/etc/profile.d/my_env.sh，添加环境变量5、解决日志 Jar 包冲突6、初始化元数据库三、启动并使用 Hive1、启动 Hive2、使用 Hive3、在/tmp/atguigu 目录下监控 hiv

			
		

	





	

		

			

				
					
2024年大数据集群搭建之Linux安装Hive2(3)，2024年最新大数据开发开发社招面试经验

					
最新发布

				
			

			

				

					pasehelpme的博客
				

				

					05-14
					
					938
					
				

			

		

		

			
				
一、安装准备二、解压Hive三、环境变量配置。

			
		

	



		

			
		



	

		

			

				
					
hive的三种模式及配置

				
			

			

				

					星空的风fly
				

				

					06-24
					
					4305
					
				

			

		

		

			
				
hive依赖于hadoop集群和mysql数据库，hadoop集群安装不在详述，mysql见3(3)

1、配置分布




			NameNode
			DataNode
			Zookeeper
			DFSZKFC
			JournalNode
			hive(单用户)
			hive(多用户)
			mysql
		node01
			1
			
			
			1
			
			...

			
		

	





	

		

			

				
					
Hive安装—本地derby模式

				
			

			

				

					
				

				

					07-01
					
					1665
					
				

			

		

		

			
				
1. 解压缩
tar -zxvf apach-hive-1.2.1-bin.tar.gz


2. 进入解压的hive目录
cd apache-hive-1.2.1-bin


3.编译配置文件
cd conf
cp hive-default.xml.template hive-site.xml
vim hive-site.xml
原配置信息全部删掉，加入如下配置：

			
		

	





	

		

			

				
					
Hadoop集群搭建，hive数据仓文档.docx

				
			

			

				

					07-09
				

			

		

		

			
				
在本文档中，我们将详细介绍如何在虚拟机上搭建一个Hadoop集群，并配置Hive数据仓库。  首先，我们需要在本地计算机上安装虚拟机软件，如VMware Workstation Pro。这个软件可以从官方网站或者通过清华大学的镜像源...

			
		

	





	

		

			

				
					
Hadoop集群搭建及Hive的安装与使用

				
			

			

				

					12-14
				

			

		

		

			
				
2. **配置Hive**：修改`conf/hive-site.xml`，设置Hive的 metastore数据库（可以是本地的MySQL或Derby），Hadoop相关配置（指向已搭建好的Hadoop集群），以及Hive的其他参数。  3. **创建metastore数据库**：根据...

			
		

	





	

		

			

				
					
Esri大数据平台搭建指南之Hive1

				
			

			

				

					08-08
				

			

		

		

			
				
Esri大数据平台搭建指南之Hive1主要涵盖了如何在Esri的大数据环境中构建和使用Apache Hive，这是一个基于Hadoop的数据仓库工具，专为大规模数据集提供了数据查询和分析能力。以下是对该指南主要内容的详细解释：  1....

			
		

	





	

		

			

				
					
hadoop+hive环境安装包.rar

				
			

			

				

					08-12
				

			

		

		

			
				
在大数据处理领域，Hadoop和Hive是两个非常重要的组件。Hadoop是一个开源框架，主要用于分布式存储和计算大规模数据，而...通过上述安装步骤和配置，你可以搭建起一个基本的Hadoop-Hive环境，开始你的大数据探索之旅。

			
		

	





	

		

			

				
					
hive开发资料.docx

				
			

			

				

					06-27
				

			

		

		

			
				
通过本文所述步骤，我们了解了如何在多台机器上搭建Hive环境，包括配置元数据存储、编译Hive源码、安装Apache Derby数据库，并启动Hive服务，使其能够支持多用户访问。这样的部署方案适合生产环境，能够满足企业级...

			
		

	





	

		

			

				
					
hive单用户模式（Derby方式）配置及踩坑实录

				
			

			

				

					逆天骚年的博客
				

				

					04-12
					
					1638
					
				

			

		

		

			
				
第一步：将hive上传到master上 并解压第二步：将hive的conf目录下的hive-default.xml.template文件拷贝一份 并将名称改为hive-site.xml第三步：在hive-site.xml文件中加入以下内容：<configuration>   <property>    <name>javax.jdo.option.Connect...

			
		

	





	

		

			

				
					
Hive的三种安装方式（内嵌模式，本地模式远程模式）

				
			

			

				

					
				

				

					01-07
					
					1244
					
				

			

		

		

			
				
一、安装模式介绍：   Hive官网上介绍了Hive的3种安装方式，分别对应不同的应用场景。   1、内嵌模式（元数据保村在内嵌的derby种，允许一个会话链接，尝试多个会话链接时会报错）   2、本地模式（本地安装mysql 替代derby存储元数据）   3、远程模式（远程安装mysql 替代derby存储元数据）    二、安装环境以及前提说明：   ...

			
		

	





	

		

			

				
					
CentOS下Hive2.0.0集群模式安装详解

				
			

			

				

					Lnho的专栏
				

				

					05-09
					
					8021
					
				

			

		

		

			
				
本文环境如下： 
  操作系统：CentOS 6 32位 
  Hive版本：2.0.0 
  JDK版本：1.8.0_77 32位 
  Hadoop版本：2.6.4
1. 准备工作先完成CentOS下Hive2.0.0单机模式安装详解中的前三个步骤。 
Hive和Hadoop一样，有3种启动模式，分别是单机模式，伪分布模式，分布模式。这里说一下分布模式（集群模式）的安装部署方案。 
这边使用My

			
		

	





	

		

			

				
					
基于Hadoop集群的Hive安装配置（Derby数据库）

				
			

			

				

					weixin_33884611的博客
				

				

					08-06
					
					117
					
				

			

		

		

			
				
Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据，提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行（具体的Hive架构大家自行搜索）。接下来主要讲下Hadoop集群下Hive的安装配置，并搭载Derby数据库（一款小巧的数据库，用于测试，不推荐开发使用，具体大家自行百度），进行一些基本的数据库操作，好了，让我们开始吧。
一、环境：同样的启用三个节点，分...

			
		

	





	

		

			

				
					
Hive：从derby数据库切换为mysql数据库

				
			

			

				

					编程学习者的博客
				

				

					06-23
					
					1261
					
				

			

		

		

			
				
1.声明
当前内容主要用于本人学习和复习，当前的内容为，切换数据库为mysql数据库，并实现hive连接
介绍：

当前的Hive部署到Linux中
使用windows10中的putty操作Linux中的Hive，实现Linux中连接Windos10中的Mysql
mysql 部署在Windows10中

mysql部署在192.168.1.109(windows10中)，hive部署在192.168.1.107(Linux中)
2.修改hive的配置和配置jar包
1.在conf中创建配置文件hive-s

			
		

	





	

		

			

				
					
hive3.1.1集群搭建

				
			

			

				

					qq_25542879的博客
				

				

					04-29
					
					2637
					
				

			

		

		

			
				
hive作为一个数据仓库建立在hadoop的基础上，提供了一套类似mysql的语法，用于做报表统计、数据分析等。在hive2.x之前，hive是不支持联机事务处理的，也就是说使用hive操作sql，会有很大的时间延迟。而hive3.x版本则有了改进，hive引擎支持tez和spark,在查询速度上有了显著的提升。接下来我们来安装搭建hive3.1.1:
##准备环境

虚拟机4台（hadoop1,...

			
		

	





	

		

			

				
					
hive 知识总结

				
			

			

				

					后知后觉的it路
				

				

					08-25
					
					304
					
				

			

		

		

			
				

 
 
hive为何要修改数据库:
 
deby只支持一个SESSION会话，如果hive使用默认的deby，那么在linux客户端开启第二个Hive命令行的时候，会报错, 而mysql是支持多会话的数据库。
 
 
hive对应的列为何不规定长度:   不确定这些字段的长度, 而且最终存储在hdfs文件中(联想与txt)
txt中也没法规定一个间隔列到底要固定存放多宽的举例。...

			
		

	





	

		

			

				
					
Hive本地模式搭建

				
			

			

				

					天涯芳草
				

				

					03-20
					
					913
					
				

			

		

		

			
				
(基于Hadoop2.8.5的本地模式Hive安装)

本安装依赖Haddop2.8安装

一、下载Hive与MySQL jdbc 连接驱动

apache-hive-2.3.6-bin.tar.gz 官方网站

mysql-connector-java-5.1.47.tar.gz oracle官网

二、解压安装Hive

1、使...

			
		

	





	

		

			

				
					
hive集群搭建都有什么作为元数据库

				
			

			

				

					07-13
				

			

		

		

			
				
Hive集群搭建通常有以下几种常见的元数据库选择： ...总结来说，Hive集群搭建时可以选择使用Apache Derby、MySQL、PostgreSQL或者Oracle作为元数据库，具体选择取决于集群规模、性能需求和预算等因素。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值