Hive格式化失败

最新推荐文章于 2024-05-24 11:27:43 发布
最新推荐文章于 2024-05-24 11:27:43 发布
阅读量4.1k 收藏 22
点赞数 5
分类专栏： # Hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duyenson/article/details/103207887
版权

初始化hive百度了一下是，输入后报错，如下：

[root@cluster-1 conf]# schematool -dbType mysql -initSchema
bash: schematool: 未找到命令...

本来以为只是没有安装schematool这么简单，于是我就通过yum命令安装。结果还是出错，报错如下：

[root@cluster-1 conf]# yum -y install schematool
已加载插件：fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirrors.aliyun.com
 * extras: mirrors.aliyun.com
 * updates: mirrors.tuna.tsinghua.edu.cn
base                                                                                                                                             | 3.6 kB  00:00:00     
extras                                                                                                                                           | 3.4 kB  00:00:00     
mysql-connectors-community                                                                                                                       | 2.5 kB  00:00:00     
mysql-tools-community                                                                                                                            | 2.5 kB  00:00:00     
mysql57-community                                                                                                                                | 2.5 kB  00:00:00     
updates                                                                                                                                          | 3.4 kB  00:00:00    
没有可用软件包 schematool。
错误：无须任何处理

后来百度发现是不该进入conf目录下进行，必须转到bin目录下执行hive初始化命令，但还是出错，错误如下：

[root@cluster-1 bin]# schematool -dbType mysql -initSchema
bash: schematool: 未找到命令...

还是出错，于是我就加个./试试，但是报其它错误了，如下所示：

[root@cluster-1 bin]# ./schematool -dbType mysql -initSchema
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/apache-hive-2.3.4/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/hadoop-2.8.5/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Metastore connection URL:	 jdbc:mysql://cluster-1:3306/hive?createDatabaseIfNotExist=true
Metastore Connection Driver :	 com.mysql.jdbc.Driver
Metastore connection User:	 root
org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver
Underlying cause: java.lang.ClassNotFoundException : com.mysql.jdbc.Driver
Use --verbose for detailed stacktrace.
*** schemaTool failed ***

查看错误发现，是不能载入mysql驱动，需要下载一个mysql的驱动jar包，上传到hive的lib目录下

这里驱动下载可以从此网站https://dev.mysql.com/downloads/connector/j/5.1.html下载，下载完成后，进行解压缩，再上传到hive/lib目录下，再执行以上命令就可以了，如下所示：

[root@cluster-1 bin]# ./schematool -dbType mysql -initSchema
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/apache-hive-2.3.4/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/hadoop-2.8.5/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Metastore connection URL:	 jdbc:mysql://cluster-1:3306/hive?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=utf8&iuseSSL=false
Metastore Connection Driver :	 com.mysql.jdbc.Driver
Metastore connection User:	 root
Sat Jan 26 16:31:14 CST 2019 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. For compliance with existing applications not using SSL the verifyServerCertificate property is set to 'false'. You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide truststore for server certificate verification.
Starting metastore schema initialization to 2.3.0
Initialization script hive-schema-2.3.0.mysql.sql
Sat Jan 26 16:31:15 CST 2019 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. For compliance with existing applications not using SSL the verifyServerCertificate property is set to 'false'. You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide truststore for server certificate verification.
Initialization script completed
Sat Jan 26 16:31:22 CST 2019 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. For compliance with existing applications not using SSL the verifyServerCertificate property is set to 'false'. You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide truststore for server certificate verification.
schemaTool completed

如果已经上传完jar包，且版本正确，还出现下列问题：

在这里插入代码片

一定是忘记启动hadoop，（初学者容易遗忘的原因），hive是基于hadoop的数据仓库，首先要启动hadoop之后才能使用hive连接数据库，

之后重新启动即可。

如果启动完Hadoop出现了以下问题：

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/SoftWare/Hive/hive-2.3.6/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/SoftWare/Hadoop/hadoop-2.7.7/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Metastore connection URL:	 jdbc:mysql://node03:3306/metastore?
createDatabaseIfNotExist=true&useSSL=false
Metastore Connection Driver :	 com.mysql.jdbc.Driver
Metastore connection User:	 root
org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.
Underlying cause: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException : Unknown database 'metastore'
SQL Error code: 1049
Use --verbose for detailed stacktrace.
*** schemaTool failed ***

说明了你的数据库中并没有一个名叫：***metastore***的数据库。

解决方法:

1.打开数据库：mysql -uroot -p…(数据库密码)；

创建名为：***metastore***的数据库；

重新格式化hive：schematool -dbType mysql -initSchema。

2.在hive/conf/hive-site.xml配置文件中修改***metastore***为你数据库中存在的数据库名。

<configuration>
  <property><!--数据库连接地址，使用MySQL存储元数据信息-->
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://node03:3306/metastore?
createDatabaseIfNotExist=true&amp;useSSL=false</value>

然后就真的没啥问题了。

[root@node01 hive-2.3.6]# schematool -initSchema -dbType mysql
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/SoftWare/Hive/hive-2.3.6/lib/log4j-slf4jimpl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/SoftWare/Hadoop/hadoop2.7.7/share/hadoop/common/lib/slf4j-log4j12-
1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Metastore connection URL: jdbc:mysql://node03:3306/metastore?
createDatabaseIfNotExist=true&useSSL=false
Metastore Connection Driver : com.mysql.jdbc.Driver
Metastore connection User: root
Starting metastore schema initialization to 2.3.0
Initialization script hive-schema-2.3.0.mysql.sql
Initialization script completed
schemaTool completed

附上我的hive/conf/hive-site.xml文件内容，在hive2.3.6/conf目录下创建一个：

server端：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property><!--数据库连接地址，使用MySQL存储元数据信息-->
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://node03:3306/metastore?
createDatabaseIfNotExist=true&amp;useSSL=false</value>
  </property>
  <property><!--数据库驱动-->
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property><!--数据库用户名-->
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <property><!--密码-->
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
  </property>
  <property><!--HDFS路径，用于存储不同 map/reduce 阶段的执行计划和这些阶段的中间输出结
果。-->
    <name>hive.exec.local.scratchdir</name>
    <value>/hive/tmp</value>
  </property>
  <property><!--HDFS路径，本地表的默认位置-->
    <name>hive.metastore.warehouse.dir</name>
    <value>/hive/warehouse</value>
  </property>
  <property><!--本地路径：Hive 查询日志所在的目录，如果该值为空，将不创建查询日志。-->
Client 端 node02 配置如下
    <name>hive.querylog.location</name>
    <value>/tmp/hive/logs</value>
  </property>
  
  <property><!--本地路径：Hive操作日志-->
    <name>hive.server2.logging.operation.log.location</name>
    <value>/tmp/hive/logs</value>
  </property>
  <property><!--本地路径：远程资源下载的临时目录-->
    <name>hive.downloaded.resources.dir</name>
    <value>/tmp/hive/resources</value>
  </property>
  <property>
    <!-- hiveserver2用户名 -->
    <name>beeline.hs2.connection.user</name>
    <value>root</value>
  </property>
  <property>
    <!-- hiveserver2密码 -->
    <name>beeline.hs2.connection.password</name>
    <value>123456</value>
  </property>
</configuration>

client端：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property><!--这里配置的是否启用本地服务器连接Hive，这里我们是客户端和服务端分开的一个
配置，所以这里设置为false.-->
    <name>hive.metastore.local</name>
    <value>false</value>
  </property>
  <property><!--HDFS路径，用于存储不同 map/reduce 阶段的执行计划和这些阶段的中间输出结
果。-->
    <name>hive.exec.local.scratchdir</name>
    <value>/hive/tmp</value>
  </property>
  <property><!--本地表的默认位置-->
    <name>hive.metastore.warehouse.dir</name>
    <value>/hive/warehouse</value>
  </property>
  <property><!--Hive连接到该URI请求远程元存储的元数据-->
    <name>hive.metastore.uris</name>
    <value>thrift://node01:9083</value>
  </property>
  <property><!--本地路径：Hive 查询日志所在的目录，如果该值为空，将不创建查询日志。-->
    <name>hive.querylog.location</name>
    <value>/tmp/hive/logs</value>
  </property>
  <property><!--本地路径：Hive操作日志-->
    <name>hive.server2.logging.operation.log.location</name>
    <value>/tmp/hive/logs</value>
  </property>
2.4.4 添加 MySQL 驱动
客⼾端和服务端都需要将 MySQL 的驱动 jar 包上传⾄ lib ⽬录。
2.4.5 修改⽇志配置
Hive 的 log 默认存放在 /tmp/root/hive.log⽬录下（当前⽤⼾名下），可以对其进⾏修改，两台节点均
需要配置
2.4.6 格式化 Hive
在 node01 上格式化 Hive
  <property><!--本地路径：远程资源下载的临时目录-->
    <name>hive.downloaded.resources.dir</name>
    <value>/tmp/hive/resources</value>
  </property>
  
  <property><!--显示当前所使用的数据库-->
    <name>hive.cli.print.current.db</name>
    <value>true</value>
  </property>
  
  <property><!--显示表头-->
    <name>hive.cli.print.header</name>
    <value>true</value>
  </property>
</configuration>
D奋斗的小菜鸟！
关注
  • 5
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
hive 格式化总是失败 急求大佬
qq_64417367的博客
09-14 396
V。
Hive 重新格式化（格式化失败）
XIATWO
11-11 3803
操作流程 1、有删，无跳过 [root@master ~]# hadoop fs -rmr /user/ # 删除hive格式化中创建的hive数据库 mysql> drop database hive; # 手动创建hive数据库 mysql> create database hivedefault charset utf8; # hive-site.xml 如有以下配置可不用创建数据库 <property> <name>javax...
Hive 初始化元数据报错： failed to load driver
最新发布
weixin_38383877的博客
05-24 368
HiveMetaException是Hive中的一个异常类，它表示Hive元数据存储（即Hive Metastore）发生了一些问题。在本例中，异常的具体原因是无法加载Hive驱动程序。
hive序列化格式报错（OrcSerdeRow）
数仓老六
01-03 366
首先，我们需要明确这个数据持久化的大体流程是什么样的。从图中可知，序列化器Serializer的输出数据，就是OutputFormat的输入数据。Write过程：Serializer将列对象转化为纪录（），OutputFormat将纪录（）格式化为输出流（OutputStream）。Read过程：InputFormat将输入流（InputStream）分割成纪录（），Deserializer将纪录（）解析成列对象。
hive元数据格式化 Communications link failure错误
qq_45694707的博客
10-30 1516
本人在网上翻来翻去整了一天发现是因为自己metastore然后导致失败了 先在数据库创建 metastore create database metastore; quit 然后在bin进行格式化 schematool -initSchema -dbType mysql -verbose 然后就会成功了 # 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 **Markdown编辑器** 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdow
hive 格式化：Error: Table ‘CTLGS‘ already exists (state=42S01,code=1050) Closing: 0: jdbc:mysql://hadoop
m0_51755061的博客
06-14 419
hive 格式化schematool -initSchema -dbType mysql -verbose 出现：Error: Table ‘CTLGS’ already exists (state=42S01,code=1050) Closing: 0: jdbc:mysql://hadoop102:3306/metastore?useSSL=false org.apache.hadoop.
apache-hive-1.2.1-bin.tar.gz
12-29
Hive 提供了数据汇总、离线分析以及结构化数据的查询功能，非常适合大数据处理场景。 "apache-hive-1.2.1-bin.tar.gz" 是 Apache Hive 1.2.1 版本的二进制发行包，采用 tar.gz 压缩格式。这个版本的 Hive 在当时是...
apache-hive-2.1.1-bin.tar.gz
04-24
7. **支持多种数据格式**：Hive 可以处理各种类型的数据格式，如文本文件、SequenceFile、Parquet、ORC 和 RCFile 等。 在 "apache-hive-2.1.1-bin" 压缩包中，包含了 Hive 的二进制发行版，主要包括以下组件： 1....
Hive编程指南+HIVE从入门到精通+Hive高级编程+Apache Oozie
11-15
1. **设置Hive环境**: 安装Hive、配置Hive-site.xml、初始化元数据存储。 2. **数据加载与导出**: 使用LOAD DATA命令加载数据，使用EXPORT/IMPORT操作迁移数据。 3. **性能优化**: 通过分区、桶、压缩和选择合适的...
apache-hive-2.3.3-bin.7z
11-28
在本案例中，我们讨论的是"apache-hive-2.3.3-bin.7z"，这是一个包含Apache Hive 2.3.3版本的压缩文件，采用7z格式，适合在桌面上解压后再进行上传。 **Hive的核心概念和功能：** 1. **数据仓库**：Hive作为大数据...
hive,阿帕奇蜂巢.zip
10-11
6. **容错性**：Hive具有良好的容错性，如果某个节点在执行过程中失败，任务会自动重新调度到其他可用节点，保证了作业的完整性。 7. **扩展性**：Hive设计时考虑到了扩展性，随着数据量的增长，只需增加更多的硬件...
python脚本中hivesql字段注释格式化
09-12
# 此脚本查找以“--”开头的注释 # ----------------------------------------------示例----------------------------------------- # -- 查找姓名为张三的学生信息 # insert overwrite table student_search # select # id, -- id编号 # name, -- 姓名 # age, -- 年龄 # address -- 住址 # from student -- 学生表 # where 1=1 # and name = '张三' -- 姓名为张三 # ---------------------------------------------优化结果------------------------------------- # -- 查找姓名为张三的学生信息 # insert overwrite table student_search # select # id, -- id编号 # name, -- 姓名 # age, -- 年龄 # address -- 住址 # from student -- 学生表 # where 1=1 # and name = '张三' -- 姓名为张三 # ------------------------------------------------------------------------------------------
hive运行脚本格式错误解决方案
LY_1029931307的博客
04-18 909
在Xshell中键入命令：sh friendpage.sh系统提示错误：'riendpage.sh: line 4: synt ax error near unexpected token `{'riendpage.sh: line 4: `function main(){解决方案：1.可能是由于处理的文件换行符是dos格式的”\r\n”；2.使用cat -v 文件名 来查看换行符是否是，如果是上...
【Hive】安装Hive和MySQL过程中遇到的问题
sinat_38650186的博客
03-01 324
Hive安装配置过程中遇到的问题
hive 找不到mysql jar包,hive groupby查询报出的找不到jar包问题
weixin_39531834的博客
03-19 130
虚拟机centos7搭建hadoop单点伪集群core-site配置fs.defaultFShdfs://192.168.128.153:9000hdfs-site配置dfs.replication1hive查询insert into table dw.dw_web_pv_uv partition (log_date='20190917') select substr(click_time,0,1...
Hive格式化输出数据库和表详细信息
weixin_34204057的博客
07-12 817
hive> desc database extended wx_test; OK wx_test hdfs://ns1/user/hive/warehouse/wx_test.db hadoop USER {t_date=2015-06-21, creator=wx} Time taken: 0.027 seconds, Fetched: 1 row(s) hive&...
hive初始化元数据报错message from server: “Host ‘192.168.40.136‘ is blocked because of many connection errors
weixin_56786688的博客
09-26 1838
在安装hive时，初始化mysql元数据报错以及进入hive时候的交互式命令，随便输入任何命令，比如show tables出错。
MySql初始化问题
weixin_45673116的博客
04-23 374
[lv@hadoop102 conf]$ schematool -initSchema -dbType mysql -verbose Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxParsingException: Illegal processing instruction target ("xml"); xml (case insensitive) is reserved by the specs.
HIve项目中常见错误，及修改办法
lz_N_one的博客
07-29 1118
HIve项目中常见错误，及修改办法
NiFi实时同步MySQL binlog到Hive实践
NiFi会接收到MySQL binlog事件，并使用适当的处理器（如`ConvertAvroSchema`、`PutHiveQL`等）来解析这些事件并转换为Hive可以理解的格式。 3. 将转换后的数据发送到Hive。由于Hive不直接支持高效的实时插入，可能...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值