使用连接池连接impala时,连接一段时间会自动断开报异常

使用连接池连接impala时,连接一段时间会自动断开,报异常

可以把impala的参数配置调整下试试。

type: com.alibaba.druid.pool.DruidDataSource
url: ***
driver-class-name: com.cloudera.impala.jdbc41.Driver
# 初始化大小,最小,最大
initialSize: 10
minIdle: 5
maxIdle: 100
maxActive: 100
# 配置获取连接等待超时的时间
maxWait: 60000
# 每次使用连接时进行校验,会影响系统性能。默认为false
testOnBorrow: false
testOnReturn: false
# 验证使用的SQL语句
validationQuery: SELECT 1
# 指明连接是否被空闲连接回收器(如果有)进行检验.如果检测失败,则连接将被从池中去除
testWhileIdle: true
# 每30秒运行一次空闲连接回收器(默认-1)
timeBetweenEvictionRunsMillis: 60000
# 池中的连接空闲30分钟后被回收(默认30分钟)
minEvictableIdleTimeMillis: 300000
# 在每次空闲连接回收器线程(如果有)运行时检查的连接数量(设置为和maxIdle一样)
numTestsPerEvictionRun: 100
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Impala是Apache的一个开源分布式SQL查询引擎,它可以直接访问Hadoop集群中的数据,并提供了类似于关系型数据库的高性能查询功能。而Hive是一个数据仓库基础设施,它提供了一种将结构化数据映射到Hadoop分布式文件系统HDFS的方法。 在使用Impala连接Hive之前,需要确保Impala和Hive都已经在Hadoop集群上正确地安装和配置。 首先,我们需要在Impala中启用对Hive的支持。在Impala的配置文件中(一般是impalad或impala-shell),将参数`-use_hive_catalog=true`设置为True。这样Impala连接到Hive的元数据存储,以获取Hive表的信息。 然后,我们可以使用Impala Shell或者Impala JDBC/ODBC驱动程序连接Impala。在连接字符串中,需要指定Impala Daemon的主机名和端口号。例如:`impala-shell -i hostname:port`。 在Impala Shell中,默认情况下,可以使用`USE DATABASE`语句来切换到Hive数据库。例如:`USE DATABASE hive_db;`。 一旦连接到Hive数据库,我们可以使用Impala的SQL语法来查询Hive表。例如:`SELECT * FROM hive_table LIMIT 10;`。Impala将查询转换为MapReduce任务并直接在HDFS上运行,从而实现高性能的查询。 需要注意的是,Impala和Hive虽然都能够处理结构化数据,但它们的数据模型和查询语法可能略有不同。因此,需要根据具体情况来调整查询语句,以确保查询的正确性和性能。 总结起来,Impala连接Hive可以通过在Impala的配置文件中启用对Hive的支持,并使用Impala Shell或驱动程序连接Impala,然后可以直接使用Impala的SQL语法来查询Hive表。这样可以充分利用Impala的高性能查询功能来处理Hive中的数据。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值