问题记录-hiveserver2启动了但是端口号10000并没有

已于 2024-09-07 17:04:15 修改
阅读量893 收藏 10
点赞数 10
文章标签： 服务器 前端 数据库
于 2024-09-06 22:10:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_69556081/article/details/141969561
版权

1，启动了hadoop的start-all.sh后，通过命令启动hiveserver2,但是控制台一直显示session id

Hive Session ID = 2957fc3d-ff23-4d2b-aab0-e73378a64d3e
Hive Session ID = 3f35108d-4a7c-4a1e-8b13-99227c21db15
Hive Session ID = 4bd02ce7-114a-42fb-ad03-96f68d7ba4f2
Hive Session ID = 7000dfd8-54e4-45f5-939b-aeb42a62b9d5
Hive Session ID = 8d8a8f4e-a99a-4a86-9447-3ce9269653e4
Hive Session ID = ae37c8cd-6e2d-46c4-bdc4-62258226700a
Hive Session ID = 2532996b-1434-44c5-879d-eb107a3842d5
Hive Session ID = 1b11f925-f588-4ef0-bab8-3e47b0af6e9b
Hive Session ID = d7cc4a64-6996-4d1a-b153-e953c988b8e1
Hive Session ID = 2eabb766-542f-43d4-955f-4e334325d1ee

2,查看端口号，里面并没有hiveserver2默认的端口号10000

[hadoop@node100 ~]$ netstat -nltp|grep java
(Not all processes could be identified, non-owned process info
 will not be shown, you would have to be root to see it all.)
tcp        0      0 127.0.0.1:39173         0.0.0.0:*               LISTEN      1912/java           
tcp        0      0 0.0.0.0:8040            0.0.0.0:*               LISTEN      2710/java           
tcp        0      0 0.0.0.0:9864            0.0.0.0:*               LISTEN      1912/java           
tcp        0      0 192.168.5.100:9000      0.0.0.0:*               LISTEN      1668/java           
tcp        0      0 0.0.0.0:8042            0.0.0.0:*               LISTEN      2710/java           
tcp        0      0 0.0.0.0:9866            0.0.0.0:*               LISTEN      1912/java           
tcp        0      0 0.0.0.0:9867            0.0.0.0:*               LISTEN      1912/java           
tcp        0      0 0.0.0.0:9868            0.0.0.0:*               LISTEN      2073/java           
tcp        0      0 192.168.5.100:9870      0.0.0.0:*               LISTEN      1668/java           
tcp        0      0 0.0.0.0:41972           0.0.0.0:*               LISTEN      2710/java           
tcp        0      0 192.168.5.100:8088      0.0.0.0:*               LISTEN      2299/java           
tcp        0      0 0.0.0.0:13562           0.0.0.0:*               LISTEN      2710/java           
tcp        0      0 192.168.5.100:8030      0.0.0.0:*               LISTEN      2299/java           
tcp        0      0 192.168.5.100:8031      0.0.0.0:*               LISTEN      2299/java           
tcp        0      0 192.168.5.100:8032      0.0.0.0:*               LISTEN      2299/java           
tcp        0      0 192.168.5.100:8033      0.0.0.0:*               LISTEN      2299/java

3.进入hive CLI 本地客户端，然后发现报错不能创建一个目录，最后两行的大致意思是blocks没有达到总数据块的阈值，所以namenode主节点进入到了安全模式。

[hadoop@node100 ~]$ hive
which: no hbase in (/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/hadoop/.local/bin:/home/hadoop/bin:/home/hadoop/bin:/opt/module/jdk1.8.0_144/bin:/opt/module/hadoop-3.3.0/bin:/opt/module/hadoop-3.3.0/sbin:/opt/module/apache-hive-2.1.1-bin/bin:/opt/module/sqoop/bin:/opt/module/azkaban-2.5.0/azkaban-web-2.5.0/bin:/opt/module/azkaban-2.5.0/azkaban-executor-2.5.0/bin)
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/module/apache-hive-2.1.1-bin/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/module/hadoop-3.3.0/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Hive Session ID = 7fa59ebc-f38c-42eb-a01b-f2369cdd5432

Logging initialized using configuration in jar:file:/opt/module/apache-hive-2.1.1-bin/lib/hive-common-3.0.0.jar!/hive-log4j2.properties Async: true
Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /tmp/hive/hadoop/7fa59ebc-f38c-42eb-a01b-f2369cdd5432. Name node is in safe mode.
The reported blocks 219 needs additional 1 blocks to reach the threshold 0.9990 of total blocks 221.
The minimum number of live datanodes is not required. Safe mode will be turned off automatically once the thresholds have been reached. NamenodeHostName:node100

4，查看hvie运行日志

  <property>
    <name>hive.querylog.location</name>
    <value>${system:java.io.tmpdir}/${system:user.name}</value>
    <description>Location of Hive run time structured log file</description>
  </property>
从我的机器上来看就是/tmp/hadoop/hive.log，从报错日志上来看，Error starting HiveServer2 on attempt 2, will retry in 60000ms，启动hiveserver2的第二次尝试失败了，60秒后重试，然后重试了好多次，每次尝试都会有一个session id号，所以在控制台才会打印那么多session id号。这里报错原因也是因为数据块没有达到阈值导致了安全模式

2024-09-06T18:56:53,217  INFO [main] server.HiveServer2: Starting HiveServer2
2024-09-06T18:56:53,319  INFO [main] SessionState: Hive Session ID = a4fe191c-6fe4-4963-adc8-1c11c7cb3b8e
2024-09-06T18:56:53,367  INFO [main] server.HiveServer2: Shutting down HiveServer2
2024-09-06T18:56:53,367  INFO [main] server.HiveServer2: Stopping/Disconnecting tez sessions.
2024-09-06T18:56:53,367  WARN [main] server.HiveServer2: Error starting HiveServer2 on attempt 2, will retry in 60000ms
java.lang.RuntimeException: Error applying authorization policy on hive configuration: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /tmp/hive/hadoop/a4fe191c-6fe4-4963-adc8-1c11c7cb3b8e. Name node is in safe mode.
The reported blocks 219 needs additional 1 blocks to reach the threshold 0.9990 of total blocks 221.
The minimum number of live datanodes is not required. Safe mode will be turned off automatically once the thresholds have been reached. NamenodeHostName:node100
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.newSafemodeException(FSNamesystem.java:1570)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkNameNodeSafeMode(FSNamesystem.java:1557)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:3406)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:1161)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:739)
        at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
        at org.apache.hadoop.ipc.ProtobufRpcEngine2$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine2.java:532)

5.关闭namenode的安全模式，这个命令是网上找的


hadoop dfsadmin -safemode leave


//搜了搜，使用这个命令需要时hdfs的超级管理员，而且dfsadmin过时了，尝试去执行hdfs dfsadmin去替代
//哈哈，不过也能执行
WARNING: Use of this script to execute dfsadmin is deprecated.
WARNING: Attempting to execute replacement "hdfs dfsadmin" instead.

Usage: hdfs dfsadmin
Note: Administrative commands can only be run as the HDFS superuser.

6.然后再去启动hiveserver2成功启动

tcp6       0      0 :::10000                :::*                    LISTEN      3555/java           
tcp6       0      0 :::10002                :::*                    LISTEN      3555/java

7.问题的根源总结

  归根结底是因为存储到datenode节点的某个文件块损坏了，导致hdfs的namenode节点触发了安全模式，然后安全模式下不能创建目录，导致启动hiveserver2启动不成功，然后一直尝试重新启动，每次尝试都会生成一个session id,然后安全模式不关，hiveserver2启动不了，然后远程客户端连接拒绝，因为连端口号也没有。

至于损坏的文件块要怎么办不知道。。。

8.特殊情况，root用户启动了hiveserver2,当其他用户使用netstat -nltp|grep java去查询的时候是找不到10000端口的，需要单独netstat -nltp|grep 10000去查询端口是否启用

//root用户
[root@node100 jartest]# netstat -nltp|grep java
tcp        0      0 127.0.0.1:39173         0.0.0.0:*               LISTEN      1912/java           
tcp        0      0 0.0.0.0:8040            0.0.0.0:*               LISTEN      2710/java           
tcp        0      0 0.0.0.0:9864            0.0.0.0:*               LISTEN      1912/java           
tcp        0      0 192.168.5.100:9000      0.0.0.0:*               LISTEN      1668/java           
tcp        0      0 0.0.0.0:8042            0.0.0.0:*               LISTEN      2710/java           
tcp        0      0 0.0.0.0:9866            0.0.0.0:*               LISTEN      1912/java           
tcp        0      0 0.0.0.0:9867            0.0.0.0:*               LISTEN      1912/java           
tcp        0      0 0.0.0.0:9868            0.0.0.0:*               LISTEN      2073/java           
tcp        0      0 192.168.5.100:9870      0.0.0.0:*               LISTEN      1668/java           
tcp        0      0 0.0.0.0:41972           0.0.0.0:*               LISTEN      2710/java           
tcp        0      0 192.168.5.100:8088      0.0.0.0:*               LISTEN      2299/java           
tcp        0      0 0.0.0.0:13562           0.0.0.0:*               LISTEN      2710/java           
tcp        0      0 192.168.5.100:8030      0.0.0.0:*               LISTEN      2299/java           
tcp        0      0 192.168.5.100:8031      0.0.0.0:*               LISTEN      2299/java           
tcp        0      0 192.168.5.100:8032      0.0.0.0:*               LISTEN      2299/java           
tcp        0      0 192.168.5.100:8033      0.0.0.0:*               LISTEN      2299/java           
tcp6       0      0 :::10000                :::*                    LISTEN      6436/java           
tcp6       0      0 :::10002                :::*                    LISTEN      6436/java    
//hadoop用户  不会展示非自己当前用户的进程信息
[hadoop@node100 ~]$ netstat -nltp|grep java
(Not all processes could be identified, non-owned process info
 will not be shown, you would have to be root to see it all.)
tcp        0      0 127.0.0.1:39173         0.0.0.0:*               LISTEN      1912/java           
tcp        0      0 0.0.0.0:8040            0.0.0.0:*               LISTEN      2710/java           
tcp        0      0 0.0.0.0:9864            0.0.0.0:*               LISTEN      1912/java           
tcp        0      0 192.168.5.100:9000      0.0.0.0:*               LISTEN      1668/java           
tcp        0      0 0.0.0.0:8042            0.0.0.0:*               LISTEN      2710/java           
tcp        0      0 0.0.0.0:9866            0.0.0.0:*               LISTEN      1912/java           
tcp        0      0 0.0.0.0:9867            0.0.0.0:*               LISTEN      1912/java           
tcp        0      0 0.0.0.0:9868            0.0.0.0:*               LISTEN      2073/java           
tcp        0      0 192.168.5.100:9870      0.0.0.0:*               LISTEN      1668/java           
tcp        0      0 0.0.0.0:41972           0.0.0.0:*               LISTEN      2710/java           
tcp        0      0 192.168.5.100:8088      0.0.0.0:*               LISTEN      2299/java           
tcp        0      0 0.0.0.0:13562           0.0.0.0:*               LISTEN      2710/java           
tcp        0      0 192.168.5.100:8030      0.0.0.0:*               LISTEN      2299/java           
tcp        0      0 192.168.5.100:8031      0.0.0.0:*               LISTEN      2299/java           
tcp        0      0 192.168.5.100:8032      0.0.0.0:*               LISTEN      2299/java           
tcp        0      0 192.168.5.100:8033      0.0.0.0:*               LISTEN      2299/java
//但是单独输入进程号却可以，但是后面就没有显示是什么应用了
[hadoop@node100 ~]$ netstat -nltp|grep 10000
(Not all processes could be identified, non-owned process info
 will not be shown, you would have to be root to see it all.)
tcp6       0      0 :::10000                :::*                    LISTEN      -

PowerSnow ZZ
关注
纯手动搭建大数据集群架构_记录009_搭建Hive_配置hiveserver2服务_配置metastore服务_使用datagrip管理hive---大数据之Hadoop3.x工作笔记0170
添柴程序猿的专栏
03-02 233
然后这里再去编辑一下hive的配置文件,要注意,这个/opt/module/hive/conf/hive-site.xml这个文件。启动以后就可以进行!开启元数据服务其实就是配置好,对应的上面的jdbc就可以了,配置好了以后,就可以连接到mysql来提供。这个元数据服务默认是嵌入到每个客户端中的,cli的客户端, 很不友好,具体怎么不好,看以前的博文。然后填写信息,然后这里没有密码就不填写,然后第一次要求下载驱动点击,就可以了,等一会就可以了。
hive的HiveServer2/beeline配置及使用
Null的博客
04-09 5897
第一：修改 hadoop 集群的 hdfs-site.xml 配置文件：加入一条配置信息，表示启用 webhdfscd /home/hadoop/apps/hadoop-2.7.5/etc/hadoop&lt;property&gt;      &lt;name&gt;dfs.webhdfs.enabled&lt;/name&gt;      &lt;value&gt;true&lt;/value...
Hadoop中hiveserver2 不能启动端口 10000 开启服务的总结
Rocky
08-19 5638
[hadoop@admin1 bin]$ ./beeline Beeline version 1.2.1 by Apache Hive beeline&gt; !connect jdbc:hive2://localhost:10000 Connecting to jdbc:hive2://localhost:10000 Enter username for jdbc:hive2://localh...
【2022】小记：CDH hive 10000端口连接不上问题
errizh的博客
02-18 4749
转眼又是三年，老兵好久没更博了 【问题】项目用到了CDH hive，测试发现应用客户端jdbc连接不上hive问题 【解决步骤】 1.登录cloudera manager 发现hiveServer2 服务异常 2.重启后，显示hiveServer2服务正常，但应用仍连接不上10000端口 3.登录host主机，发现hiveServer2进程已启动，但10000服务端口未监听。。 4.到/var/log/hive下查看hive日志，有报错 5.定位到问题：hive连接不上hdfs的nam
HIVE4.0.0的10000端口启动不起来的一种情况
最新发布
LearnToPain的博客
08-06 386
原生态部署HIVE4.0.0启动不起来10000端口，也没找到日志文件的位置，后来才知道日志文件默认在/tmp/<hostname>/路径下面，查看日志以为是Tez没安装的问题，我这儿要实现hive on spark，是不是该安装spark然后启动起来再执行hiveserver2。一顿操作后，发现还是不行。再细看日志，hive-site.xml几个配置项没改绝对路径。修改后发现10000端口就起来了，测试发现跟Spark无关。修改两个位置的值为绝对路径就可以了。
Hive hiveserver2 监听端口10000异常 启动失败
csding11的博客
08-19 845
参考链接
hive的10000端口启动不起来及beeline启动报错问题
技术探求
02-22 7418
1 问题点及参考文章 有些前辈大佬把问题总结的很好，让人有所启发和受益，因此先把参考到的文章贴出来。 1.1 如果在hive-site.xml中配置了metastore请先开启metastore和hiveserver2 1）【Hadoop】hiveserver2 不能启动端口 10000 开启服务的相关经验总结 2）启动hive时连接不到10000端口可能遇见的问题 3）记录初学者学习Hive时踩过的坑 开启 metastore hive --service metastore & 开启 hive
【Hadoop】hiveserver2 不能启动端口 10000 开启服务的相关经验总结
ECNU乐扣老师——区块链、可计算情感
12-06 3万+
这个问题困扰了我三天，各种查资料踩坑填坑的尝试，终于搞定了不能链接hive2的这个问题。
HiveServer2频繁宕机 - Hive踩坑记录
大数据研究小白
08-04 1562
在跑定时任务一段时间后，会出现管道断开的错误日志，并且Hs2的10000端口宕机。
Hive安装与配置常见问题解决
qq_53879605的博客
10-14 1350
在之前的文章中介绍了Hadoop集群,本文安装的Hive是基于Hadoop的一个数据仓库工具，并底层依赖与HDFS储存数据，本文将介绍如何安装及其配置。
2020.9.27(Hive Serde、HiveServer2、Hive函数)
超可爱慕之
09-26 1085
回顾：上节课讲了hive的基本语句，DDL，DML 和MySQL差不多，但是也有一些自己独特的东西，比如在定义一张表的时候需要指定行格式。 这节课开始，hive的点就比较琐碎了。 Hive Serde Hive SerDe - Serializer and Deserializer –SerDe 用于做序列化和反序列化。 什么意思？ hive在运行过程中，数据是存储在hdfs的，但是执行引擎是mapreduce，这两个之间有必然的关系么？ 写的都是SQL语句，可以通过load的方式加载数据，也可以直接向h
hiveserver2的配置和启动
热门推荐
leanaoo的博客
10-24 6万+
概览 1.配置hive-site.xml 2.配置hadoop中的core-site.xml文件 3.测试 首先将hive安装 然后更改部分配置文件 1.配置hive-site.xml 利用Xshell工具连接虚拟机 进入hive安装目录下的conf文件夹,更改hive-site.xml配置文件 其中配置参考hive安装中的配置hive-site.xml 你会发现/usr/hive/apache-...
2021-10-18 bin/hive --service hiveserver2 hive 执行完这个命令就一直加载session
weixin_51202216的博客
10-18 3750
[root@master hive]# bin/hive --service hiveserver2 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/hbase/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/op.
（十七）大数据实战——Hive的hiveserver2服务安装部署
厉害哥哥的博客
08-14 3789
HiveServer2 是 Apache Hive 的一个服务器端组件，用于支持客户端与 Hive 进行交互和执行查询。HiveServer2服务的作用是提供jdbc/odbc接口，为用户提供远程访问Hive数据的功能。HiveServer2 允许多个客户端同时连接并与 Hive 交互。这些客户端可以通过 JDBC、ODBC 或 Thrift API 连接到 HiveServer2。HiveServer2 支持并发执行多个查询。它使用一个线程池和查询队列来管理同时执行的查询请求。
hive启动后一直在加载！
曜有上镜心的博客
12-02 2819
启动不了hive 一直在加载中！！ 输入启动hive命令之后发现一直在加载中。启动不成功。，我们总结原因应该有服务没有开成功，按ctrl+c退出当前命令，输入jps查看一下 可以看到我们少了一个服务（ResourceManager）。这样我们输入 strat-yarn.sh 启动一下，如果没有启动成功，就直接停止全部进程 stop-all.sh 然后按顺序开启服务Zookeeper服务 zkServer.sh start zkServer.sh start(如果没有配置环境变量的话，要在zook
HiveServer2与beeline的使用 & Hive JDBC编程
呼呼的小窝
10-17 2076
HiveServer2&beeline的使用入门；Hive JDBC编程，完成了创建表、删除表、查询、加载数据、展示表描述符等常用操作
hive打开计算引擎session卡死
小王是个弟弟
12-06 1485
平台：H3C DataEngine 表现形式：启动hive shell第一次执行走计算流程的sql时，打开计算引擎的session时卡死，可视化查看任务正常提交，就是无法执行。 原因解释：无论什么yarn调度器默认都是单队列，H3C使用的是公平调度器，但队列中存在其他正在执行的任务导致队列资源占用达到10%，导致后面的任务需要等待前面的任务走完，卡死的根本原因是安装了spark，导致后台会启动spark session且一直运行，导致之后的任务无法提交。 解决方案：配置yarn多队列 <?xml .
./bin/hive --service hiveserver2 -hiveconf hive.server2.thrift.port=10000一个小时了还没有启动成功
05-30
执行./bin/hive --service hiveserver2启动HiveServer2服务时，如果等待一个小时还没有成功启动，可能是由于以下原因： 1. 端口被占用：请确认10000端口是否被其他进程占用，如果是请换用其他未被占用的端口。 2. 配置错误：请检查hive-site.xml中配置的HiveServer2相关参数是否正确，例如hive.server2.thrift.port的值是否正确设置为10000。 3. 系统资源不足：请检查系统资源是否充足，例如内存、CPU等是否达到了要求，如果不足请增加资源。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值