hbase客户端认证缓慢解决

最新推荐文章于 2023-01-02 17:02:50 发布
最新推荐文章于 2023-01-02 17:02:50 发布
阅读量1k 收藏
点赞数
分类专栏： hbase 文章标签： hbase dns
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36647532/article/details/102681217
版权
本文介绍了在使用HBase客户端时遇到的Kerberos认证延迟十几秒的问题，通过分析日志发现是由于DNS解析耗时过长导致。提供了两种解决方案：在/etc/hosts文件中添加主机映射或者在/etc/resolv.conf中设置DNS超时时间。实验证明，这些措施可以有效解决认证延迟问题。
摘要由CSDN通过智能技术生成

问题描述


异常日志
2019-10-22 12:23:43.824 [pool-8-thread-115] INFO c.s.firstShoot.vehicle.VehicleFirstShootPerDay - 开始创建roaringbitmap:20191010000000->20191009235959
2019-10-22 12:23:43.824 [pool-8-thread-117] INFO com.suncreate.utils.VehicleBitmapWRUtils - 执行查询的sql：×××××××××××××××
2019-10-22 12:23:43.824 [pool-8-thread-116] INFO com.suncreate.utils.VehicleBitmapWRUtils - 执行查询的sql：×××××××××××××××
2019-10-22 12:23:43.839 [hconnection-0x29f53b77-shared--pool1-t1481] INFO org.apache.hadoop.hbase.ipc.RpcClientImpl - RPC Server Kerberos principal name for service=ClientService is hbase/hadoop.hadoop.com@HADOOP.COM
2019-10-22 12:23:53.940 [AsyncResolver-bootstrap-executor-0] INFO c.n.d.shared.resolver.aws.ConfigClusterResolver - Resolving eureka endpoints via configuration
2019-10-22 12:24:07.894 [hconnection-0x29f53b77-shared--pool1-t1483] INFO org.apache.hadoop.hbase.ipc.RpcClientImpl - RPC Server Kerberos principal name for service=ClientService is hbase/hadoop.hadoop.com@HADOOP.COM
2019-10-22 12:24:07.895 [hconnection-0x29f53b77-shared--pool1-t1482] INFO org.apache.hadoop.hbase.ipc.RpcClientImpl - RPC Server Kerberos principal name for service=ClientService is hbase/hadoop.hadoop.com@HADOOP.COM
2019-10-22 12:24:07.903 [hconnection-0x29f53b77-shared--pool1-t1484] INFO org.apache.hadoop.hbase.ipc.RpcClientImpl - RPC Server Kerberos principal name for service=ClientService is hbase/hadoop.hadoop.com@HADOOP.COM
2019-10-22 12:24:07.908 [hconnection-0x29f53b77-shared--pool1-t1486] INFO org.apache.hadoop.hbase.ipc.RpcClientImpl - RPC Server Kerberos principal name for service=ClientService is hbase/hadoop.hadoop.com@HADOOP.COM
2019-10-22 12:24:07.909 [hconnection-0x29f53b77-shared--pool1-t1485] INFO org.apache.hadoop.hbase.ipc.RpcClientImpl - RPC Server Kerberos principal name for service=ClientService is hbase/hadoop.hadoop.com@HADOOP.COM
2019-10-22 12:24:07.909 [hconnection-0x29f53b77-shared--pool1-t1487] INFO org.apache.hadoop.hbase.ipc.RpcClientImpl - RPC Server Kerberos principal name for service=ClientService is hbase/hadoop.hadoop.com@HADOOP.COM
2019-10-22 12:24:07.910 [hconnection-0x29f53b77-shared--pool1-t1489] INFO org.apache.hadoop.hbase.ipc.RpcClientImpl - RPC Server Kerberos principal name for service=ClientService is hbase/hadoop.hadoop.com@HADOOP.COM
2019-10-22 12:24:07.922 [hconnection-0x29f53b77-shared--pool1-t1495] INFO org.apache.hadoop.hbase.ipc.RpcClientImpl - RPC Server Kerberos principal name for service=ClientService is hbase/hadoop.hadoop.com@HADOOP.COM
2019-10-22 12:24:07.922 [hconnection-0x29f53b77-shared--pool1-t1488] INFO org.apache.hadoop.hbase.ipc.RpcClientImpl - RPC Server Kerberos principal name for service=ClientService is hbase/hadoop.hadoop.com@HADOOP.COM
2019-10-22 12:24:07.922 [hconnection-0x29f5

最低0.47元/天 解锁文章
毛毛虫之路
关注
专栏目录
hive+hbase学习手册
尬聊码农
05-13 856
hive学习手册 一、hive入门手册 1.什么是数据仓库 1.1数据仓库概念 对历史数据变化的统计，从而支撑企业的决策。比如：某个商品最近一个月的销量，预判下个月应该销售多少，从而补充多少货源。 1.2传统数据仓库面临的挑战 （1）无法满足快速增长的海量数据存储需求 （2）无法有效处理不同类型的数据 （3）计算和处理能力不足 1.3 Hive介绍 Hbase支持快速的交互式的大数据应用 ...
个人笔记：分布式大数据技术原理（一）Hadoop 框架
最新发布
艺术架构
01-06 1434
Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型，实现跨计算机集群的大型数据集的分布式处理。它最初的设计目的是为了检测和处理应用程序层的故障，从单个机器扩展到数千台机器（这些机器可以是廉价的），每个机器提供本地计算和存储，而不是依靠硬件提供高可靠性。
ES Xpack Kerberos认证流程优化
u011775740的博客
03-26 1212
小序 ES官方Xpack在服务端已经实现了Kerberos认证，会玩的小伙伴配置成功后，可以使用curl命令成功的发起认证请求；然而，由于RestClient客户端并没有默认集成Kerberos认证的能力，如果要使用Kerberos认证功能，必然要自己实现客户端传递认证token到服务端的逻辑，也可以把这段逻辑固化到RestClient.java或者RestClientBuilder.java中（...
MasterNotRunningException...，IOException:Failed to specify server‘s Kerberos principal name
qq_39244882的博客
09-03 1957
Java 连接Hbase数据库，使用Kerberos进行认证获取连接：MasterNotRunningException...， Failed to specify server's Kerberos principal name。异常处理方法
hadoop之kerberos权限配置（ranger基础上）（三）
weixin_40496191的博客
01-02 4331
kerberos+ranger+kerberos权限控制
Spark访问安全HBase异常No valid credentials provided
独行的卡卡的博客
02-24 9227
问题现象 在Spark（cluster模式）上访问安全HBase抛出如下异常： ... DEBUG | Connecting to linux18/10.75.202.18:21310 | org.apache.hadoop.hbase.ipc.RpcClientImpl$Connection.setupIOStreams(RpcClientImpl.java:713) INFO | RPC ...
【解决】HikariPool-1 - Connection is not available, request timed out / Thread starvation or clock leap
少年单排，记录点滴
02-11 9083
我在用quartz开发多线程任务时，使用的c3p0连接池，查看日志发现错误日志如下： 2020-02-11 00:15:27.260 [SchedulerFactory_Worker-1] ERROR 插入失败：nested exception is org.apache.ibatis.exceptions.PersistenceException: ### Error updating d...
笔记：分布式大数据技术原理（一）Hadoop 框架
WeeeicheN 的博客
07-20 1246
前言-从 Hadoop 说起 什么是 Hadoop Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型，实现跨计算机集群的大型数据集的分布式处理。它最初的设计目的是为了检测和处理应用程序层的故障，从单个机器扩展到数千台机器（这些机器可以是廉价的），每个机器提供本地计算和存储，而不是依靠硬件提供高可用性。 Hadoop 中有3个核心组件： 分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上 分布式运算编程框架：MapReduce —— 实现在很多机器上...
java连接HBase错误：INFO client.RpcRetryingCaller: Call exception, tries=10, retries=35, started=59899 ms
06-01 3595
当java代码中连接出现此问题时，注意查看hbase几台服务器的hostname，并配置到windows的hosts文件中
kerberos常见错误及解决方法
HRay's blog
04-12 2247
oracle总结的还是比较全面的 https://docs.oracle.com/cd/E26926_01/html/E25889/trouble-2.html
Kerberos常见错误及解决方案
热门推荐
shkstart的博客
08-31 1万+
1、 Kerberos启动后台日志提示异常：No such file or directory – while initializing database for realm HADOOP.COM 在/var/log/krb5kdc.log中发现No such file or directory – while initializing database for realm HADOOP.COM。 解决方案： ①： 检查kdc.conf和krb5.conf文件是否配置正确,修改配置，注意：配置文件的[kdc
Phoenix导数错误: client.RpcRetryingCaller: Call exception, tries=10 ...
稼轩
10-12 7266
往Phoenix表中批量导数出现的错误, 命令: hadoop jar phoenix-4.14.0-cdh5.11.2-client.jar org.apache.phoenix.mapreduce.CsvBulkLoadTool --table my_table --input  hdfs_dir --delimiter '分隔符' 错误详情: 18/10/12 09:29:15 INF...
【FLinlk】Flink小坑之kerberos动态认证
九师兄
06-09 4601
1.概述 转载并且补充：Flink小坑之kerberos动态认证 2.官网 这段内容摘抄自官网：Kerberos Authentication Setup and Configuration 配置：Kerberos-based Authentication / Authorization Flink 通过 Kafka 连接器提供了一流的支持，可以对 Kerberos 配置的 Kafka 安装进行身份验证。只需在 flink-conf.yaml 中配置 Flink。像这样为 Kafka 启用 Kerbero
解决某个RegionServer获取行锁失败[HBase1.1.2]
宝罗Paul 的博客
12-14 2603
【现象】 某个RegionServer的日志中，发现有以下异常： 2017-12-13 03:19:33,953 WARN  [B.fifo.QRpcServer.handler=0,queue=0,port=16020] regionserver.HRegion: Failed getting lock in batch put, row=F680A8D4CF43A6CC66507589B8
kerberos使用中遇到的问题
玩物
03-17 1万+
公司的kerberos认证使用了很久，但是最近新上的一批服务器无法直接免密登录，需要输入密码。此问题查询了将近一个礼拜后，终于得到解决。kerberos的系统组成有至少三部分。1.ServerA (kdc kerberos-admin(kerberos服务端)) 2.ServerB (client(kerberos user)，所有用户可以通过这个服务器从服务端索要凭据)。 3.ServerC(服
java hdfs kerberos 认证超时 Receive timed out
天道酬勤
11-28 4068
背景 cdh6 集群为阿里服务器，三台机器搭建而成，并且开启了 kerberos，现在想尝试一下用 java api 读取 hdfs 数据。 代码如下： public class ReadHdfsOnKerberos { public static void main(String[] args) throws IOException { String krbConfigPath = "D:\\Code\\kk-architecture-bigdata-practice\\Hado
Kerberos 认证过程中超时的问题记录
weixin_40925318的博客
10-19 4281
Kerberos 认证过程中超时的问题记录com.sun.security.auth.module.Krb5LoginModule.attemptAuthentication(Krb5LoginModule.java:776参考的方法解决 在跑一个扫描hive表的任务的时候，经常2个多小时任务就失败了，报错如下： Caused by: javax.security.auth.login.LoginException: connect timed out at com.sun.security.auth.m
hbase客户端软件
07-27
HBase 客户端软件是用于与 HBase 数据库进行交互和操作的工具。有多种可用的 HBase 客户端软件，以下是其中一些常见的： 1. HBase Shell：HBase 自带的命令行工具，可以直接在终端上执行 HBase 的操作和查询命令。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值