Hive三种环境搭建（内嵌模式、本地模式、远程模式）以及JDBC的配置以及Java代码

最新推荐文章于 2023-11-12 20:37:12 发布
最新推荐文章于 2023-11-12 20:37:12 发布
阅读量630 收藏 1
点赞数
分类专栏： 笔记 大数据开发技术 文章标签： mysql hive hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45755831/article/details/111183734
版权
本文详细介绍了在CentOS7.2环境下，使用Hadoop2.8.5、Hive2.3.3和MySQL5.6.50搭建Hive的内嵌、本地和远程三种模式。包括环境变量配置、数据库初始化、HDFS目录设置等步骤。此外，还展示了如何通过Java API进行Hive数据库的JDBC操作，包括创建数据库、表，加载数据以及执行查询、统计等操作。
摘要由CSDN通过智能技术生成

配置环境：
Hadoop 2.8.5
jdk 1.8
Hive 2.3.3
CentOS 7.2
VMware Workstation Pro 12.0
MySQL Ver 14.14 Distrib 5.6.50, for Linux (x86_64)

一、内嵌、本地、远程模式搭建

1、内嵌模式

下载好hive的安装包后，解压

tar -zxvf apache-hive-2.3.3-bin.tar.gz /opt/modules/

并配置环境变量

sudo vi /etc/profile
export HIVE_HOME=/opt/modules/apache-hive-2.3.3-bin
export PATH=$PATH:${HIVE_HOME}/bin

令修改立即生效

source /etc/profile

将{HIVE_HOME}/conf/目录下的hive-env.sh.template 修改为hive-env.sh
并添加hadoop的环境变量

export HADOOP_HOME=/opt/modules/hadoop-2.8.5/

在hdfs中创建数据仓库

start-all.sh
hadoop fs -mkdir /tmp
hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

初始化derby数据库
（注意！该命令会在当前目录新建文件夹）

schematool -dbType derby -initSchema

输出日志信息后，会在当前目录新建一个文件夹metastore_db。
进入文件夹后：
$ hive
会进入derby数据库。


2、本地模式


首先需要安MySQL，并且配置密码。 下面是命令： 
cd /home/hadoop/
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm
sudo yum install mysql-server
mysql -u root
sudo chown -R hadoop:hadoop /var/lib/mysql
service mysqld restart
mysql -u root
use mysql;
update user set password=password('123456')where user='root';
exit;
service mysqld restart
mysql -h localhost -uroot -p


配置hive用户和hive数据库。


在这里插入图片描述


配置 hive-site.xml


在这里插入图片描述


初始化数据库：


在这里插入图片描述


如果初始化数据库报错的话，可能是MySQL数据库有空用户。使用下面的命令解决：


在这里插入图片描述


初始化数据库。


在这里插入图片描述
下面就可以使用sql语句操作数据库了。并且支持多用户访问。


3、远程模式


先将本机hive配置文件传输到另一台虚拟机上：

在这里插入图片描述
centos02文件hive-site.xml配置修改：

在这里插入图片描述
首先在centos01启动环境：

在这里插入图片描述
centos02 连接数据库：

在这里插入图片描述
centos01创建表，添加数据：

在这里插入图片描述
centos02查询数据：
在这里插入图片描述

在这里插入图片描述

二、Java API

文件配置

1、{HADOOP_HOME}\etc\hadoop\目录下core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://centos01:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/modules/hadoop-2.8.5/tmp</value>
</property>
<property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
    </property>
</configuration>

需要注意的是一些参数每台虚拟机可能是不同的：
在这里插入图片描述

2、{HIVE_HOME}\conf\下的hive-site.xml文件
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
       
        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://centos01:3306/hive_db?createDatabaseIfNotExist=true</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>hive</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>hive</value>
        </property>
	<property>
   		 <name>hadoop.proxyuser.hadoop.hosts</name>
   		 <value>*</value>
	</property>
	<property>
   		 <name>hadoop.proxyuser.hadoop.groups</name>
   		 <value>*</value>
	</property>
	<property> 
		<name>hive.server2.thrift.port</name> 
		<value>1000000</value> 
	</property>
	<property>
		<name>hive.server2.thrift.bind.host</name>
		<value>localhost</value>
	</property>
	<property>
		<name>hive.server2.enable.doAs</name>
		<value>false</value>
	</property>
	<property>
   		 <name>hive.cli.print.current.db</name>
   		 <value>true</value>
	</property>
</configuration>

这里也是有几个可能需要修改的参数“：
在这里插入图片描述

二、环境启动

启动：

首先需要启动hdfs环境
start-all.sh

然后启动hiveserver2服务
hiveserver2

在这里插入图片描述
可以使用beeline测试一下：
出现绿色connected为成功。

在这里插入图片描述

三、Java代码实现hive数据库的JDBC


这时候就可以用JDBC操纵hive数据库了。

package hive;

import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.sql.*;

/**
 * JDBC 操作 Hive（注：JDBC 访问 Hive 前需要先启动HiveServer2）
 */
public class HiveJDBC {

    private static String driverName = "org.apache.hive.jdbc.HiveDriver";
    private static String url = "jdbc:hive2://{主机IP}:10000/test";
    private static String user = "hive";
    private static String password = "hive";

    private static Connection conn = null;
    private static Statement stmt = null;
    private static ResultSet rs = null;

    // 加载驱动、创建连接
    @Before
    public void init() throws Exception {
        Class.forName(driverName);
        conn = DriverManager.getConnection(url,user,password);
        stmt = conn.createStatement();
    }

    // 创建数据库
    @Test
    public void createDatabase() throws Exception {
        String sql = "create database hive_jdbc_test";
        System.out.println("Running: " + sql);
        stmt.execute(sql);
    }

    // 查询所有数据库
    @Test
    public void showDatabases() throws Exception {
        String sql = "show databases";
        System.out.println("Running: " + sql);
        rs = stmt.executeQuery(sql);
        while (rs.next()) {
            System.out.println(rs.getString(1));
        }
    }

    // 创建表
    @Test
    public void createTable() throws Exception {
        String sql = "create table emp(\n" +
                "grade int" +
                ")\n" +
                "row format delimited fields terminated by '\\t'";
        System.out.println("Running: " + sql);
        stmt.execute(sql);
    }

    // 查询所有表
    @Test
    public void showTables() throws Exception {
        String sql = "show tables";
        System.out.println("Running: " + sql);
        rs = stmt.executeQuery(sql);
        while (rs.next()) {
            System.out.println(rs.getString(1));
        }
    }

    // 查看表结构
    @Test
    public void descTable() throws Exception {
        String sql = "desc emp";
        System.out.println("Running: " + sql);
        rs = stmt.executeQuery(sql);
        while (rs.next()) {
            System.out.println(rs.getString(1) + "\t" + rs.getString(2));
        }
    }

    // 加载数据
    @Test
    public void loadData() throws Exception {
        String filePath = "{PATH}";
        String sql = "load data local inpath '" + filePath + "' overwrite into table emp";
        System.out.println("Running: " + sql);
        stmt.execute(sql);
    }

    // 查询数据
    @Test
    public void selectData() throws Exception {
        String sql = "select * from emp";
        System.out.println("Running: " + sql);
        rs = stmt.executeQuery(sql);
        //System.out.println("员工编号" + "\t" + "员工姓名" + "\t" + "工作岗位");
        while (rs.next()) {
            System.out.println(rs.getString("grade"));
        }
    }

    // 统计查询（会运行mapreduce作业）
    @Test
    public void countData() throws Exception {
        String sql = "select count(*) from emp";
        System.out.println("Running: " + sql);
        rs = stmt.executeQuery(sql);
        while (rs.next()) {
            System.out.println(rs.getInt(1) );
        }
    }

    // 删除数据库
    @Test
    public void dropDatabase() throws Exception {
        String sql = "drop database if exists hive_jdbc_test";
        System.out.println("Running: " + sql);
        stmt.execute(sql);
    }

    // 删除数据库表
    @Test
    public void dropTable() throws Exception {
        String sql = "drop table if exists emp";
        System.out.println("Running: " + sql);
        stmt.execute(sql);
    }

    // 释放资源
    @After
    public void destory() throws Exception {
        if ( rs != null) {
            rs.close();
        }
        if (stmt != null) {
            stmt.close();
        }
        if (conn != null) {
            conn.close();
        }
    }

    public static void main(String[] args) throws Exception {
//        HiveJDBC hiveJDBC = new HiveJDBC();
//        hiveJDBC.init();
//        hiveJDBC.dropDatabase();
//        hiveJDBC.createDatabase();
//        hiveJDBC.dropTable();
//        hiveJDBC.createTable();
//        hiveJDBC.loadData();
//        hiveJDBC.showDatabases();
//        hiveJDBC.showTables();
//        hiveJDBC.descTable();
//        hiveJDBC.selectData();
//        hiveJDBC.destory();
    }
}
Leviathan_Four
关注
专栏目录
spring jpa mysql_Spring Boot （五）Spring Data JPA 操作 MySQL 8
weixin_35695434的博客
01-19 332
一、Spring Data JPA 介绍JPA(Java Persistence API)Java持久化API，是 Java 持久化的标准规范，Hibernate是持久化规范的技术实现，而Spring Data JPA是在 Hibernate 基础上封装的一款框架。开发环境Spring Boot 2.0.4Spring Data JPA 2.0.4MySQL 8.0.12JDK 8IDEA 201...
Hive的三种搭建模式及远程方式详细搭建步骤
thyyyyyyy的博客
11-05 2014
Hive的搭建hive三种方式区别和搭建按照Hive中metastore（元数据存储）不同位置分为三种方式： a)内嵌Derby方式 b)Local方式 c)Remote方式1，安装Hive 解压下载好的apache-hive-1.2.1-bin.tar.gz安装包到 /opt/apache-hive-1.2.1目录下 tar -zxvf apache-hive-1.2.1-bin.tar.gz ...
spring mysql jpa_让你的spring data jpa支持mysql的空间存储
weixin_33957089的博客
01-18 209
背景在做单车项目的时候，有一个功能点是展示周围的车辆。其实这个功能在之前的项目中也用到过，只不过一直都是用的mongoDB来实现的，后来在看文档的时候发现了，mysql也支持就想尝试使用下，在使用的过程中，出现了许多障碍，特此记录下。一、 首先创建表，索引。CREATE TABLE location(address CHAR(80) NOT NULL,address_loc POINT NOT N...
mysql jpa 配置_SpringBoot+Jpa+MySql 常用配置及请求
weixin_42117485的博客
02-26 230
关于这篇文章，介绍SpringBoot常用的配置和请求处理。大致分成三个部分介绍：常用的请求方式、Jpa配置、MySql配置。常用的请求方式如下是常用的几种请求方式：get请求：一般用于查询数据，获取一些非重要性的信息。post请求：一般用于插入数据。put请求：一般用于数据更新。delete请求：一般用于数据删除。那么，在SpringBoot中，怎么对这些请求方式进行处理。(这里以最常用的get...
jpa mysql配置_SpringBoot+Jpa+MySql 常用配置及请求
weixin_29207533的博客
01-27 222
这篇文章，介绍SpringBoot常用的配置和请求处理。大致分成三个部分介绍：常用的请求方式、Jpa配置、 MySql 配置。常用的请求方式如下是常用的几种请求方式：get请求：一般用于查询数据，获取一些非重要性的信息。post请求：一般用于插入数据。put请求：一般用于数据更新。delete请求：一般用于数据删除。那么，在SpringBoot中，怎么对这些请求方式进行处理。(这里以最常用的get...
jpa mysql8_springBoot+JPA+mysql8.0.15快速入门教程-Go语言中文社区
weixin_42569329的博客
01-31 216
1.JPA简介JPA(Java Persistence API)是Sun官方提出的Java持久化规范，用来方便大家操作数据库。真正干活的可能是Hibernate,TopLink等等实现了JPA规范的不同厂商,默认是Hibernate。本知识演示如何在Springboot中快捷方便地使用JPA。详细看百度百科2.环境准备JDK1.8 、IDEA 2018 、Maven 3.5 、Mysql8.0....
Hive三种模式的简单介绍及具体搭建流程
曹利荣的博客
04-25 2139
理论基础 hive有三种运行模式： 内嵌模式、本地模式、远程模式。 内嵌模式： 元数据保村在内嵌的derby中，允许一个会话链接，尝试多个会话链接时会报错。 本地模式： 本地安装mysql 替代derby存储元数据。 由于元数据的获取需要访问mysql，所以这就要求每一个用户必须要有对MySQL的访问权利。 远程模式： 以本地模式为基础。 ...
基于大数据集群的hive搭建
10-30
本文将详细介绍如何在大数据集群上搭建 Hive，主要包括三种运行模式的概述以及本地模式的详细步骤。 首先，Hive 提供了三种运行模式： 1. **内嵌模式**：元数据存储在本地的内嵌 Derby 数据库中，适合单用户开发和...
Hive本地模式安装过程简单总结
qq_38586378的博客
03-12 510
前言 安装Hive实属后知后觉，是想使用Apache Atlas展示血缘关系，后来发现需要从Hive中导入元数据才能查看datalineage，故而初步了解Hive，了解Hive主要有三种模式（内嵌、本地和远程），选了本地模式，并使用mysql替代了默认的derby数据库。在参考网上的教程进行实操后出了一些bug，百度搜索后成功安装，现进行简单总结。 Hive是基于Hadoop上的数据仓库，...
Hive系列 (一)：Hive搭建
Eric Ray的博客
06-17 1597
CentOS中安装hive，hiveserver2, beeline配置
spring data jpa 连接mysql8.x的一些问题梳理总结.docx
03-12
前段时间MySQL5.X启动不了服务，网上查了很多方法也为解决，最后升级成8.X系列软件。使用spring data jpa 框架进行连接出现了很多问题，现对相关问题进行总结梳理
Spring-Data-JPA整合MySQL和配置的方法
08-27
主要介绍了Spring Data JPA整合MySQL和配置,小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
jpa基本操作及Mysql8的配置
吉力哥
01-20 1529
决定向郑清大佬学习，把所学的记录下来，作为记忆力差的我此法甚好，感觉哈。 首先在说jpa前，之前公司一直使用的Mysql5.1版本(估计是在docker里已经配置好了的)，我自己的机子因为年轻，安装的Mysql8，讲道理，一时间要改配置还真不习惯。 MySQL8配置注意 pom.xml <!--Mysql8驱动--> <dependency> <gro...
spring boot通过JPA访问Mysql
CREATE_17的博客
04-06 1868
本文主要介绍spring boot如何使用JPA来访问Mysql，对单表做简单的增删改查操作。 环境说明： IntelliJ IDEA JDK 1.8 spring boot 2.1.0 Maven 3.5.0 Mysql 一、初始化mysql 进入mysql，创建数据库，创建数据表，并生成一些测试数据。 CREATE DATABASE spring_boot_study; USE sp...
spring整合jpa使用mysql_（转）Spring整合Jpa
weixin_39585974的博客
02-04 316
Spring家族越来越强大，作为一名javaWeb开发人员，学习Spring家族的东西是必须的。在此记录学习Spring-data-jpa的相关知识，方便后续查阅。一、spring-data-jpa的简单介绍SpringData : Spring 的一个子项目。用于简化数据库访问，支持NoSQL 和 关系数据存储。其主要目标是使数据库的访问变得方便快捷。SpringData 项目所支持 NoSQL...
jpa mysql配置_Spring Data JPA 常用配置与数据源配置
weixin_39866265的博客
01-27 600
Spring Data JPA 常用配置#jpa 配置spring.jpa.database-platform=mysql# 是否开启生成表结构spring.jpa.generate-ddl=false# 通过实体类生成表的策略spring.jpa.hibernate.ddl-auto=none# 在日志中打印SQL语句spring.jpa.show-sql=true# 格式化日志中的SQL语句s...
Jpa无法自动创建数据库表(MySql8.0.33)
最新发布
moranbainianwen的博客
11-12 258
将所有能看懂的教程都看了看，最后在这位大佬的博客里解决了。
jpa 配置mysql_Spring+JPA+MySQL的配置文件
weixin_33622128的博客
01-18 147
一直在整合spring+hibernate，今天整合一下JPA +Springpersistence.xml默认放在META-INF目录下xsi:schemaLocation="http://java.sun.com/xml/ns/persistence persistence_1_0.xsd" version="1.0">org.hibernate.ejb.HibernatePersi...
使用SpringBoot+Mysql+JPA实现对数据库的增删改查和分页
weixin_43904316的博客
05-23 5604
使用idea新建个SpringBoot项目 1. 选择create new project 2. controler studentController package com.kude.stu.stu.controller; import com.kude.stu.stu.entity.Student; import com.kude.stu.stu.service.Stu...
Hive搭建教程：从内嵌到本地模式
文档涵盖了Hive的三种运行模式：内嵌模式、本地模式和远程模式，并重点介绍了本地模式的安装过程，包括下载Hive二进制包、配置MySQL JDBC驱动、设置环境变量以及修改配置文件等关键步骤。" 在大数据分析领域，Hive...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值