Hive安装

最新推荐文章于 2022-06-02 05:58:25 发布
最新推荐文章于 2022-06-02 05:58:25 发布
阅读量150 收藏
点赞数
文章标签： 数据库 大数据 java
1、安装MySQL，此处略
2、在MySQL上创建数据库，并创建Hive需要的相关表
  1. grid@master1:~$ mysql -uroot -p
  2. Enter password:
  3. Welcome to the MySQL monitor. Commands end with ; or \g.
  4. Your MySQL connection id is 3
  5. Server version: 5.6.19-enterprise-commercial-advanced MySQL Enterprise Server - Advanced Edition (Commercial)

  7. Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.

  9. Oracle is a registered trademark of Oracle Corporation and/or its
  10. affiliates. Other names may be trademarks of their respective
  11. owners.

  13. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

  15. mysql> create database metastore;
  16. Query OK, 1 row affected (0.00 sec)

  18. mysql> use metastore
  19. Database changed

  21. mysql> source /usr/local/hive/scripts/metastore/upgrade/mysql/hive-schema-1.2.0.mysql.sql

  23. Query OK, 0 rows affected (0.01 sec)

  25. Query OK, 0 rows affected (0.01 sec)

  27. Query OK, 0 rows affected (0.01 sec)

  29. ERROR:
  30. Failed to open file 'hive-txn-schema-0.13.0.mysql.sql', error: 2
  31. Query OK, 1 row affected (0.01 sec)
创建表报错了，应该是路径不对
  1. grid@master1:~$ cd /usr/local/hive/scripts/metastore/upgrade/mysql
在次执行就没有报错了
3、配置hive-env.sh
  1. HADOOP_HOME=/usr/local/hadoop
4、配置hive-site.xml
  1. grid@master1:/usr/local/hive/conf$ cat hive-site.xml
  2. <?xml version="1.0"?>
  3. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  4. <configuration>
  5.         <property>
  6.                 <name>javax.jdo.option.ConnectionURL</name>
  7.                 <value>jdbc:mysql://master1:3306/metastore</value>
  8.         </property>

  10.         <property>
  11.                 <name>javax.jdo.option.ConnectionDriverName</name>
  12.                 <value>com.mysql.jdbc.Driver</value>
  13.         </property>

  15.         <property>
  16.                 <name>javax.jdo.option.ConnectionUserName</name>
  17.                 <value>root</value>
  18.         </property>

  20.         <property>
  21.                 <name>javax.jdo.option.ConnectionPassword</name>
  22.                 <value>111</value>
  23.         </property>

  25.         <property>
  26.                 <name>datanucleus.autoCreateSchema</name>
  27.                 <value>false</value>
  28.         </property>

  30.         <property>
  31.                 <name>datanucleus.fixedDatastore</name>
  32.                 <value>true</value>
  33.         </property>

  35.         <property>
  36.                 <name>hbase.zookeeper.quorum</name>
  37.                 <value>master1.slave1,slave2,salve3</value>
  38.         </property>

  40. </configuration>
5、下载MySQL连接的JAR文件，并放在lib目录
  1. grid@master1:~$ mv mysql-connector-java-5.1.36.jar /usr/local/hive/lib/
6、复制Hbase和Zookeeper的JAR文件到Hive的lib目录
  1. grid@master1:/usr/local/hive/lib$ cp /usr/local/hbase/hbase-0.94.27.jar .

  3. grid@master1:/usr/local/hive/lib$ cp /usr/local/zookeeper/zookeeper-3.4.5.jar .
7、启动Hive报错解决方法
7.1 报错Exception in thread "main" java .lang .NoSuchMethodError : org .apache .hadoop .conf .Configuration .unset (Ljava/lang/String ; )
  1. grid@master1:/usr/local/hive/conf$ hive

  3. Logging initialized using configuration in jar:file:/usr/local/hive/lib/hive-common-1.2.1.jar!/hive-log4j.properties
  4. Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.unset(Ljava/lang/String;)V
  5.         at org.apache.hadoop.hive.ql.exec.Utilities.resetUmaskInConf(Utilities.java:3694)
  6.         at org.apache.hadoop.hive.ql.exec.Utilities.createDirsWithPermission(Utilities.java:3679)
  7.         at org.apache.hadoop.hive.ql.session.SessionState.createRootHDFSDir(SessionState.java:597)
  8.         at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:554)
  9.         at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:508)
  10.         at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:677)
  11.         at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621)
  12.         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
  13.         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
  14.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
  15.         at java.lang.reflect.Method.invoke(Method.java:606)
  16.         at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
更改hive-env.sh
  1. export HIVE_CONF_DIR=/usr/local/hive/conf

  3. export HIVE_AUX_JARS_PATH=/usr/local/hive/lib
7.2 报错Exception in thread "main" java .lang .RuntimeException : java .lang .RuntimeException : The root scratch dir : /tmp/hive on HDFS should be writable
  1. grid@master1:/usr/local/hive/conf$ hive

  3. Logging initialized using configuration in jar:file:/usr/local/hive/lib/hive-common-1.2.1.jar!/hive-log4j.properties
  4. Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx--x--x
  5.         at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)
  6.         at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:677)
  7.         at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621)
  8.         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
  9.         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
  10.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
  11.         at java.lang.reflect.Method.invoke(Method.java:606)
  12.         at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
  13. Caused by: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx--x--x
  14.         at org.apache.hadoop.hive.ql.session.SessionState.createRootHDFSDir(SessionState.java:612)
  15.         at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:554)
  16.         at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:508)
  17.         ... 7 more
此报错是说在hdfs里没有/tmp/hive目录，这是默认值，可更改hive-site.xml配置
  1. <property>
  2.     <name>hive.metastore.warehouse.dir</name>
  3.     <value>/data/hive/wh</value>
  4.   </property>

  6.   <property>
  7.     <name>hive.exec.scratchdir</name>
  8.     <value>/data/tmp</value>
  9.   </property>
7.3 报错Exception in thread "main" java .lang .RuntimeException : java .lang .RuntimeException : The root scratch dir : /data/tmp on HDFS should be writable
  1. grid@master1:/usr/local/hive/conf$ hive

  3. Logging initialized using configuration in jar:file:/usr/local/hive/lib/hive-common-1.2.1.jar!/hive-log4j.properties
  4. Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /data/tmp on HDFS should be writable. Current permissions are: rwxr-xr-x
  5.         at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)
  6.         at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:677)
  7.         at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621)
  8.         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
  9.         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
  10.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
  11.         at java.lang.reflect.Method.invoke(Method.java:606)
  12.         at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
  13. Caused by: java.lang.RuntimeException: The root scratch dir: /data/tmp on HDFS should be writable. Current permissions are: rwxr-xr-x
  14.         at org.apache.hadoop.hive.ql.session.SessionState.createRootHDFSDir(SessionState.java:612)
  15.         at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:554)
  16.         at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:508)
  17.         ... 7 more
此报错是/data/tmp目录没权限
  1. grid@master1:/usr/local/hive/conf$ hadoop fs -chmod 777 /data/tmp
8、正常启动Hive
  1. grid@master1:/usr/local/hive/conf$ hive

  3. Logging initialized using configuration in jar:file:/usr/local/hive/lib/hive-common-1.2.1.jar!/hive-log4j.properties
  4. hive>

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/12219480/viewspace-1795661/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/12219480/viewspace-1795661/

crj2951
关注
HIVE安装及详解
10-14
"HIVE安装及详解" HIVE是一种基于Hadoop的数据仓库工具，主要用于处理和分析大规模数据。下面是关于HIVE的安装及详解。 HIVE基本概念 HIVE是什么？HIVE是一种数据仓库工具，主要用于处理和分析大规模数据。它将...
hive安装
04-15
【Hive安装详解】 Hive是Apache软件基金会的一个开源项目，它提供了一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，使得用户可以通过类SQL的方式进行大数据处理。...
hive安装（配置文件hive-site.xml）
qq_53810226的博客
03-29 7135
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- jdbc 连接的 URL --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://node01:33
hbase-default.xml 默认文件
记录点点滴滴
01-25 2612
hbase-default.xml 默认文件 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- /** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file
hive-site.xml 参数设置
遥望......
03-26 3706
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agre...
搭建Hive环境
sun_xo的博客
06-02 262
大数据学习笔记之二——《搭建Hive环境》
Failed to open file ''****.sql'', error: 2的解决方案
热门推荐
凤凰人
01-07 3万+
将source后面的路径的引号去掉： source '/home/python/study/flask/information_info_category.sql' # 改为 source /home/python/study/flask/information_info_category.sql
大数据技术基础实验报告-Hive安装配置与应用.doc
08-21
【大数据技术基础实验报告-Hive安装配置与应用】 在大数据处理领域，Apache Hive是一个非常重要的组件，它提供了基于Hadoop的数据仓库工具，用于数据查询、分析以及存储。本实验报告将详细阐述如何安装、配置Hive，...
hive安装步骤
09-06
"Hive安装步骤详解" 本文档详细介绍了在 Linux 环境下安装 Hive 的具体步骤，并提供了多张插图，帮助读者更好地理解安装过程。文章主要分为两个部分：安装 MySQL 和安装 Hive。 安装 MySQL 在安装 Hive 之前，...
hive安装文档
09-05
### Hive安装知识点详解 #### 一、Hive简介与安装目的 Hive 是基于 Hadoop 的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行...
【已解决】Hive启动后报错：FAILED: LockException [Error 10280]: Error communicating with the metastore
神是念着倒
06-15 7814
Hive，解决报错：ERROR [main]: metastore.RetryingHMSHandler (RetryingHMSHandler.java:invoke(159)) - MetaException(message:Unable to update transaction database com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'hive.txns' doesn't exist
Hadoop配置文件_mapred-default.xml
weixin_43870699的博客
01-18 1628
&lt;?xml version="1.0"?&gt; &lt;?xml-stylesheet type="text/xsl" href="configuration.xsl"?&gt; &lt;!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agree...
hiveserver2查询操作报错Error while compiling statement等
技术探求
02-22 8435
1 问题产生背景 更换hive客户端还使用原先的关系型数据库（我用的是mysql）的metastore 2 报错信息 Error: Error while compiling statement: FAILED: SemanticException Unable to fetch table emp. Exception thrown when executing query : SELECT DISTINCT 'org.apache.hadoop.hive.metastore.model.MTable'
MySQL执行脚本时出现failed to open file ,error 2 问题时的解决方法
DD137237的博客
04-09 2467
可能是某个进程占用了该文件所在的文件夹，解决方法：将该文件拷贝到其他文件夹中再试。 转载于:https://www.cnblogs.com/Wcy100/p/5372852.html
hive 安装mysql，启动hive异常和建表时候异常
qq_42506914的博客
01-14 441
一、启动hive异常 java.sql.SQLException: Cannot execute statement: impossible to write to binary log since BINLOG_FORMAT = STATEMENT and at least one table uses a storage engine limited to row-based logging...
使用source导入MySQL出现“ERROR: Failed to open file xx, error: 2“问题的解决
hundred_li_journey的博客
08-20 4184
我在Linux系统里成功导入过sakila数据库， 但在Windows系统使用如下方法导入数据，报 ERROR: Failed to open file 'D:\works\学习\素材\MySQL\sakila-db\sakila-schema.sql', error: 2 错误： mysql> source D:\works\学习\素材\MySQL\sakila-db\sakila-schema.sql ERROR: Failed to open file 'D:\works\学习\素材\MySQL
hive启动元数据schema报错解决办法
浪子城
12-10 1418
博主最开始接触hive时，使用的还是0.14版本，这个版本用着相当不爽，bug百出，也没有多少内置的函数，in的子查询还报错。。。。。但是博主凭着强大的sql能力，巧妙的绕过了不能使用的函数以及子查询等。但是没有这些内置函数和语法的不健全，博主去下载了一个hive2.3版本。但是问题就出现了。 ERROR session.SessionState: Error setting up authori...
spark sql 配置mysql_spark sql metastore 配置 mysql
weixin_39828960的博客
01-27 92
本文主要介绍如何为 spark sql 的 metastore 配置成 mysql 。spark 的版本 2.4.0 版本hive script 版本为 hive 1.2.2mysql 为 5.7.18mysql 的安装部署就不在这里介绍了。首先为 mysql 的root 用户设置密码mysql -uroot> set password= password('mysql');设置mysql ...
【python】修改xml文件
BIG BOSS的博客
02-08 1047
例如Hadoop的hdfs-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance
Hive安装教程与Python连接Hive指南
"这篇教程涵盖了Hive的安装与配置，以及使用Python来访问Hive数据库的方法。通过一个详细的步骤展示了在Linux环境下安装Hive的过程，并提供了配置Hive环境变量及连接MySQL作为元数据存储的示例。此外，还提到了使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值