Windows10 安装HIVE

最新推荐文章于 2024-06-01 08:34:47 发布
最新推荐文章于 2024-06-01 08:34:47 发布
阅读量7.6k 收藏 8
点赞数 1
分类专栏： 大数据

原文地址：https://blog.csdn.net/hawkzy/article/details/86472449

 

一 准备工作

    安装Hadoop 3.1.1
    安装JDK 1.8或更高版本
    Hadoop已经能正常启动，启动过程中无exception或error信息
    下载hive 3.1.0：http://mirror.bit.edu.cn/apache/hive/
    下载下来应该是tar包的形式：apache-hive-3.1.0-bin.tar.gz
    找一个较早的hive版本源码包，在其bin文件夹下必须含有hive.cmd等文件
    这个比较困难，我找的是apache-hive-0.14.0-src.tar.gz，非常老的版本。
    下载mariadb-10.3.10（或MySQL），以及mysql jdbc驱动：mysql-connector-java-8.0.12.jar

二 安装和配置HIVE

解压apache-hive-3.1.0-bin.tar.gz到D:\hive-3.1.0
配置Hive环境变量：
配置Hive环境变量

hive path

备份D:\hive-3.1.0\bin文件夹。解压apache-hive-0.14.0-src.tar.gz，复制bin及其子目录ext下的所有cmd文件到D:\hive-3.1.0\bin及其相应子文件夹下。

在D:\hive-3.1.0\conf\下新建hive-site.xml文件，修改内容如下：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <!-- 下面这几个是将mysql作为metastore存储的配置 -->
  <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <!-- 下面的hive是后面创建MariaDB时建立的数据库名 -->
      <value>jdbc:mysql://localhost:3306/hive?serverTimezone=UTC</value>
      <description>JDBC connect string for a JDBC metastore</description>
  </property>
  <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
      <value>com.mysql.jdbc.Driver</value>
      <description>Driver class name for a JDBC metastore</description>
  </property>
  <property>
      <!-- 数据库连接名 -->
      <name>javax.jdo.option.ConnectionUserName</name>
      <value>root</value>
      <description>username to use against metastore database</description>
  </property>
  <property>
      <!-- 数据库连接密码 -->
      <name>javax.jdo.option.ConnectionPassword</name>
      <value>123456</value>
      <description>password to use against metastore database</description>
  </property>

    <property>
    <name>hive.exec.local.scratchdir</name>
    <value>/hive-3.1.0/iotmp/scratch_dir</value>
    <description>Local scratch space for Hive jobs</description>
  </property>
 
  <property>
    <name>hive.downloaded.resources.dir</name>
    <value>/hive-3.1.0/iotmp/resources_dir/${hive.session.id}_resources</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
  </property>
 
  <property>
    <name>hive.querylog.location</name>
    <value>/hive-3.1.0/iotmp/querylog_dir</value>
    <description>Location of Hive run time structured log file</description>
  </property>
 
  <property>
    <name>hive.server2.logging.operation.log.location</name>
    <value>/hive-3.1.0/iotmp/operation_dir</value>
    <description>Top level directory where operation logs are stored if logging functionality is enabled</description>
  </property>
</configuration>

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52

注意上面的绝对路径/hive-3.1.0是我在D盘的安装目录，“/”会自动指定到当前运行环境的根目录，由于我是在D盘运行，因此这样写是可以的，各位可以根据自己的需要重新配置。

修改hive-log4j2.properties文件
将文件hive-log4j2.properties.template复制一份，重命名为hive-log4j2.properties，并修改内容如下：

status = INFO
name = HiveLog4j2
packages = org.apache.hadoop.hive.ql.log

# list of properties
property.hive.log.level = INFO
property.hive.root.logger = DRFA
property.hive.log.dir = hive_log
property.hive.log.file = hive.log
property.hive.perflogger.log.level = INFO

# list of all appenders
appenders = console, DRFA

# console appender
appender.console.type = Console
appender.console.name = console
appender.console.target = SYSTEM_ERR
appender.console.layout.type = PatternLayout
appender.console.layout.pattern = %d{ISO8601} %5p [%t] %c{2}: %m%n

# daily rolling file appender
appender.DRFA.type = RollingRandomAccessFile
appender.DRFA.name = DRFA
appender.DRFA.fileName = ${hive.log.dir}/${hive.log.file}
# Use %pid in the filePattern to append <process-id>@<host-name> to the filename if you want separate log files for different CLI session
appender.DRFA.filePattern = ${hive.log.dir}/${hive.log.file}.%d{yyyy-MM-dd}
appender.DRFA.layout.type = PatternLayout
appender.DRFA.layout.pattern = %d{ISO8601} %5p [%t] %c{2}: %m%n
appender.DRFA.policies.type = Policies
appender.DRFA.policies.time.type = TimeBasedTriggeringPolicy
appender.DRFA.policies.time.interval = 1
appender.DRFA.policies.time.modulate = true
appender.DRFA.strategy.type = DefaultRolloverStrategy
appender.DRFA.strategy.max = 30

# list of all loggers
loggers = NIOServerCnxn, ClientCnxnSocketNIO, DataNucleus, Datastore, JPOX, PerfLogger, AmazonAws, ApacheHttp

logger.NIOServerCnxn.name = org.apache.zookeeper.server.NIOServerCnxn
logger.NIOServerCnxn.level = WARN

logger.ClientCnxnSocketNIO.name = org.apache.zookeeper.ClientCnxnSocketNIO
logger.ClientCnxnSocketNIO.level = WARN

logger.DataNucleus.name = DataNucleus
logger.DataNucleus.level = ERROR

logger.Datastore.name = Datastore
logger.Datastore.level = ERROR

logger.JPOX.name = JPOX
logger.JPOX.level = ERROR

logger.AmazonAws.name=com.amazonaws
logger.AmazonAws.level = INFO

logger.ApacheHttp.name=org.apache.http
logger.ApacheHttp.level = INFO

logger.PerfLogger.name = org.apache.hadoop.hive.ql.log.PerfLogger
logger.PerfLogger.level = ${hive.perflogger.log.level}

# root logger
rootLogger.level = ${hive.log.level}
rootLogger.appenderRefs = root
rootLogger.appenderRef.root.ref = ${hive.root.logger}

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67

将MySQL jdbc驱动（mysql-connector-java-8.0.12.ja）放到D:\hive-3.1.0\lib文件夹下。
三 安装和配置MariaDB

将MariaDB解压到D:\mariadb-10.3.10，并配置系统环境变量：
mysql home

mysql path

初始化配置：
注意，这里及后面建立的数据库名hive，用户名root，密码123456是跟必须前面hive-site.xml配置保持一致的。

D:\mariadb-10.3.10\bin> .\mysql_install_db.exe --datadir=D:\mariadb-10.3.10\db --service=MyDB --password=123456
Running bootstrap
2018-10-18 19:49:44 0 [Note] D:\mariadb-10.3.10\bin\mysqld.exe (mysqld 10.3.10-MariaDB) starting as process 17000 ...
Removing default user
Setting root password
Creating my.ini file
Registering service 'MyDB'
Creation of the database was successful

    1
    2
    3
    4
    5
    6
    7
    8

若提示：FATAL ERROR: OpenSCManager failed 是因为需要以管理员身份运行

配置数据库服务：

D:\mariadb-10.3.10\bin> .\mysqld.exe --install MariaDB
Service successfully installed.

    1
    2

启动服务：

D:\mariadb-10.3.10\bin> net start MariaDB
MariaDB 服务正在启动 .
MariaDB 服务已经启动成功。

    1
    2
    3

以空密码登录，成功：

D:\mariadb-10.3.10\bin> .\mysql -uroot
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 9
Server version: 10.3.10-MariaDB mariadb.org binary distribution

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

    1
    2
    3
    4
    5
    6
    7
    8

切换数据库：

MariaDB [(none)]> use mysql;
Database changed

    1
    2

更改密码：

MariaDB [mysql]> update user set password=password("123456") where user="root";
Query OK, 3 rows affected (0.001 sec)
Rows matched: 3  Changed: 3  Warnings: 0

    1
    2
    3

刷新，让权限立即生效：

MariaDB [mysql]> flush privileges;
Query OK, 0 rows affected (0.000 sec)

    1
    2

退出：

MariaDB [mysql]> quit;
Bye

    1
    2

四 在MariaDB初始化Hive数据库

创建数据库
刚才配置Hive修改的hive-site.xml，里面有数据库名，用户名，密码，因为是配置连接mysql，此时需要在mysql里创建数据库hive。登录MariaDB后，执行：
create database hive
设置字符集：

MariaDB [(none)]> alter database hive default character set latin1;
Query OK, 1 row affected (0.001 sec)

    1
    2

执行数据库建表脚本：
在HIVE的目录下（D:\hive-3.1.0\scripts\metastore\upgrade\mysql\）有个README文件，非常详细的说明了如何配置HIVE升级最新的数据库到mysql，但对于我们第一次安装的其实很简单，就是在MySQL里执行一个SQL脚本即可，注意脚本的Hive版本要和实际安装的一致：

MariaDB [hive]> SOURCE D:/hive-3.1.0/scripts/metastore/upgrade/mysql/hive-schema-3.1.0.mysql.sql;
Query OK, 0 rows affected (0.026 sec)
... ....

    1
    2
    3

创建好后的效果：
执行use hive后：

MariaDB [hive]> show databases;
+--------------------+
| Database           |
+--------------------+
| hive               |
| information_schema |
| mysql              |
| performance_schema |
| test               |
+--------------------+
5 rows in set (0.029 sec)

MariaDB [hive]> show tables;
+-------------------------------+
| Tables_in_hive                |
+-------------------------------+
| aux_table                     |
| bucketing_cols                |
| cds                           |
... ...
| wm_trigger                    |
| write_set                     |
+-------------------------------+
74 rows in set (0.001 sec)

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24

五 在hadoop下配置hive仓库

按照官网说明（https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-InstallingHivefromaStableRelease），在hadoop下配置hive仓库，如果出现提示“No such file or directory”，那就需要一级一级创建目录：

D:\hadoop-3.1.1\bin>hadoop fs -mkdir /tmp
D:\hadoop-3.1.1\bin>hadoop fs -mkdir /user/hive
D:\hadoop-3.1.1\bin>hadoop fs -mkdir /user/hive/warehouse

    1
    2
    3

创建好后可以查看：

D:\hadoop-3.1.1\bin>hadoop fs -ls /
Found 3 items
drwxr-xr-x   - hawkzy supergroup          0 2018-10-17 10:04 /input
drwxr-xr-x   - hawkzy supergroup          0 2018-10-19 14:15 /tmp
drwxr-xr-x   - hawkzy supergroup          0 2018-10-19 14:17 /user

D:\hadoop-3.1.1\bin>hadoop fs -ls /user/hive
Found 1 items
drwxr-xr-x   - hawkzy supergroup          0 2018-10-19 14:17 /user/hive/warehouse

    1
    2
    3
    4
    5
    6
    7
    8
    9

将上述文件夹修改为可读写属性：

D:\hadoop-3.1.1\bin\hadoop fs -chmod g+w   /tmp
D:\hadoop-3.1.1\bin\hadoop fs -chmod g+w   /user/hive/warehouse

    1
    2

六 启动Hive

启动Hive前，确保MariaDB已经启动起来。
启动hive的metastore服务：

D:\hive-3.1.0\bin>hive --service metastore -hiveconf hive.root.logger=DEBUG

    1

启动hive的hiveserver2服务：

D:\hive-3.1.0\bin>hive --service hiveserver2

    1

启动hive的的控制台：

D:\hive-3.1.0\bin>hive --service cli

    1

在控制台下可以创建table，查询table内容，操作方式跟mysql操作SQL一样
创建的table，可以在hadoop下执行命令：

D:\hadoop-3.1.1\bin>hadoop fs -ls /user/hive/warehouse
Found 1 items
drwxr-xr-x   - hawkzy supergroup          0 2018-10-24 00:43 /user/hive/warehouse/test_table

 

柳暗花明_攻城师
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Windows安装Hive时所需cmd相关命令
05-17
Windows环境下启动hive，执行.\bin\hive，报错 'hive' 不是内部或外部命令，也不是可运行的程序或批处理文件。 Apache Hive后续较新版本bin目录下缺少Windows环境下所需要的cmd相关命令。 Apache-Hive-2.1.1老版本...
Hive远程连接设置用户名和密码
weixin_43871547的博客
07-13 9407
hive设置用户名密码
在windows10上安装apache-hive-3.1.3
11-09 665
基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行，hive 是一种底层封装了Hadoop 的数据仓库处理工具，使用类SQL 的hiveSQL 语言实现数据查询。然后再hive的bin目录下执行hive.cmd start。启动hive，在hive的bin下面执行hive.cmd start。
HIVE安装（详细教程）
最新发布
2301_77836489的博客
06-01 725
HIVE安装（详细教程）
Hive设置连接用户名和密码
weixin_42704604的博客
12-05 6803
当hive客户端搭建起来之后，应用项目远程连接hive需要设置用户名和密码； 由于hive默认的用户名和密码都是空的，所以需要我们自定义用户名和密码；首先，添加hive的maven依赖，这儿maven的版本和hive运行的jar版本保持一致，不然容易出问题，hive/lib下查看jar的版本信息。 需要先用IDEA打包一个jar工具类，用于解析用户名和密码，具体需要打包的代码如下： 之后，将jar包放在hive的lib目录下，同时，需要修改conf下的hive-site.xml配置文件； 最后还需要修改ha
Hive的安装
weixin_56948111的博客
12-18 2157
Hive的安装 Hive的基本安装配置，主要包括以下步骤： 检查Hadoop环境 查看Hadoop版本号： hadoop version 启动HDFS： start-dfs.sh 启动Yarn： start-yarn.sh 检查Hadoop进程： jps 安装MySQL 命令： sudo apt-get install mysql-server 查看默认的账号和密码：` sudo cat /etc/mysql/debian.cnf 使用默认的账号和密码登录MySQL数据库:
windows单机启动hive hiveserver2
pdw2009的专栏
06-09 2772
原来起hiveserver2 报：org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:10000.原因在于hiveserver2 tcp服务端口默认是使用10000，服务默认使用的端口：hive.server2.transport.mode...
windows下安装hive2.3.3缺少的可执行文件
08-07
windows10下安装hive2.3.3的时候，无法执行hive命令，原因是官方下载文件中缺少可执行文件（好多个cmd文件），安装的时候无法执行成功。下载后，解压替换hive的bin目录即可执行成功。
windows hive cmd 下载
01-12
3. **Windows环境下安装Hive**: 在Windows系统上安装Hive通常需要先安装Hadoop的本地模式或者伪分布式模式，因为Hive依赖于Hadoop的HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource Negotiator...
windows下hive的可执行文件
10-04
在Windows 10系统上设置Hadoop和Hive，用户需要确保所有组件（如Hadoop的HDFS、YARN和MapReduce，以及Hive的服务）都能与操作系统兼容。 【压缩包子文件的文件名称列表】：bin “bin”目录通常包含可执行文件和...
一、Hive数据仓库应用之Hive部署（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
weixin_42051846的博客
12-17 3908
Hive数据仓库应用实验之Hive的部署，完成Hadoop高可用集群的搭建以及Hive远程模式的部署，WIN10系统，虚拟机软件VMware Workstation 15.5 PRO，Linux版本CentOS-6.7，超详细步骤配图详解，对新手友好。
Hive3.1.3安装及部署
zhongmingyu
04-07 2355
目录1 下载地址2 安装部署2.1 安装Hive2.2 启动并使用Hive2.3 MySQL安装2.3.1 安装MySQL2.3.2 配置MySQL2.3.3 卸载MySQL说明2.4 配置Hive元数据存储到MySQL2.4.1 配置元数据到MySQL2.4.2 验证元数据是否配置成功2.4.3 查看MySQL中的元数据2.5 Hive服务部署2.5.1 hiveserver2服务 2.5.2 metastore服务2.5.3 编写Hive服务启动脚本（了解）配置环境：http://archive.apa
（十七）大数据实战——Hive的hiveserver2服务安装部署
厉害哥哥的博客
08-14 3474
HiveServer2 是 Apache Hive 的一个服务器端组件，用于支持客户端与 Hive 进行交互和执行查询。HiveServer2服务的作用是提供jdbc/odbc接口，为用户提供远程访问Hive数据的功能。HiveServer2 允许多个客户端同时连接并与 Hive 交互。这些客户端可以通过 JDBC、ODBC 或 Thrift API 连接到 HiveServer2。HiveServer2 支持并发执行多个查询。它使用一个线程池和查询队列来管理同时执行的查询请求。
Windows10安装Hive3.1.2
xieedeni的博客
09-18 2961
基本环境资源 Hadoop:2.3.X Hive:2.3.X.bin.tar.gz 版本 第一步：下载Hive.tar.gz,官网下载地址：http://archive.apache.org/dist/hive，可以在CSDN上找资源，官方地址下载真的慢！ 第二步：解压Hive.tar.gz 至指定文件夹目录，配置Hive 全局环境变量。HIVE_HOME和修改path增加hive的bin路径 注意：Hive 的Hive_x.x.x_bin.tar.gz 版本在windows 环.
07-hive---基础部分2
qq_43819048的博客
09-01 273
再思考一个问题：既然hive中的数据是在hdfs上的，我们也可以手动的上传数据，能上传至/home，为何不能上传至：/user/hive/warehouse/yhdb.db/t_user。修改集群的三个core-site.xml，记得修改一个，同步一下，并且重启hdfs。查看hdfs上的user.txt 发现不见了，去哪里了，被移动走了！metastore服务意义：为别人连接mysql元数据提供服务的。hive中的数据，不要load 也可以被正常使用。查看数据，发现有两份，想覆盖怎么办？
教会大家搭建HIve分布式集群
2401_83236175的博客
04-09 134
hive是一个基于hadoop的数据库仓库工具，通过本次hive的安装，，我成功的在Hadoop集群上安装hive，并进行了基础的配置和数据加载操作。同时也对工作原理和性能优化有了更深入的了解。积累经验的同时也更好的应对以后对大数据处理的需求。下载完之后将hive组件包上传到centos虚拟机上面，然后用。这里我们下载社区版的就行：community。数据库设置完成后要进入hive组件配置文件。hive组件可以去官网上下载：如下图示。三 hive测试验证是否成功搭建。一 安装hive组件。
DataGrip 配置 HiveServer2 远程连接访问（含账号密码验证）
JIE的博客 --- moon_coder
08-06 1063
中没有指定该用户（上方有添加用户模板）或者指定后 Hadoop 集群没有重启，导致配置没有生效。测试连接是否成功，然后下载集群 HiveServer2 远程连接 JDBC 对应驱动版本。，显示该用户不被允许连接，这是因为在 Hadoop 的核心配置文件。不做过多的赘述了，使用起来还是特别简单便捷的，没有啥难度可言。连接你绑定的地址并根据提示输入 Hive 的配置文件。账号密码如果没有设置则都为空，密码输入框为隐式显示。配置完成，可以发现驱动版本与集群是一致的。，关闭配置自动统计列的统计信息。
安装hive
qq_48288251的博客
07-09 240
hive是基于hadoop的数据仓库工具，将一定格式的文件映射为一张张表，因此hive版本和hadoop版本有对应关系，一定要检查自己安装的hadoop和hive版本是否兼容； hadoop版本：2.9.1，hive版本：3.2.1，jdk：1.8.0_162，mysql：8.0.20，jdbc:8.0.20 在链接内自己可以查看hive，hadoop关系（http://hive.apache.org/downloads.html） 查看hive版本：启动hive时会出现hive-common-x.x.x.
项目实践---Windows11中安装Zookeeper/Hadoop/Hive
qq_40623672的博客
05-31 1200
Windows11中安装Hadoop/Hive
windows启动hive
05-23
要在 Windows 上启动 Hive，需要安装 Hadoop 和 Hive。以下是一些简单的步骤： 1. 下载和安装 Hadoop：从 Apache Hadoop 官方网站下载适合 Windows 的 Hadoop 版本。安装 Hadoop 并设置环境变量。 2. 下载和安装 Hive：从 Apache Hive 官方网站下载适合 Windows 的 Hive 版本。安装 Hive 并设置环境变量。 3. 配置 Hive：打开 hive-site.xml 文件并进行必要的配置更改，例如指定 Hadoop 的路径和 Hive 的元数据存储位置。 4. 启动 Hadoop：启动 Hadoop，并确保它正在运行。 5. 启动 Hive：在命令行中输入 “hive”，然后按 Enter 键。这将启动 Hive Shell，您可以在其中执行 Hive 命令。 请注意，在 Windows 上使用 Hive 可能会遇到一些问题，特别是与 Hadoop 的集成方面。因此，建议使用 Linux 或 macOS 等其他操作系统来运行 Hive。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值