在运行hadoopdb\hive\hadoop源码时不能正确调用自定义core-site.xml等配置文件

在运行HadoopDB、Hive或Hadoop源码时,测试程序可能无法正确加载conf路径下新定义的配置文件,而仅使用jar包中的默认配置。解决方案是在项目或应用的classpath中添加conf文件路径,通过调整ClassLoader,确保自定义配置覆盖默认配置,从而使得configuration类能够读取到新增的资源。
摘要由CSDN通过智能技术生成

一 前言

在hadoopdb\hive\hadoop源码中,会有很多的测试主程序 ,而这些测试主程序通常都要用到configuration,即

new JobConf(conf)时初始化configuration对象,如果直接运行这些程序 ,可能会出现

只读取jar包中的配置文件 ,并不读取在conf路径下重新定义的新配置文件。


二 解决方案

记得在项目的classpath中添加conf文件 路径,或在应用程序的classpath中添加conf文件路径 

以configuration测试用例做说明:

org.apache.hadoop.conf.configuration类提供了一个专门用做测试的 main函数

1.在run->debug configurations ...  对话框左侧边栏找到java application,双击java application,会提示 创建新的调试程序 。

将Name 为congfiguration,主程序选择org.apache.hadoop.conf.Configuration,点击 debug

会输出以下默认信息

<?xml version="1.0" encoding="UTF-8" standalone="no"?><configuration>
<property><name>fs.file.impl</name><value>org.apache.hadoop.fs.LocalFileSystem</value></property>
<property><name>hadoop.logfile.count</name><value>10</value></property>
<property><name>fs.har.impl.disable.cache</name><value>true</value></property>
<property><name>ipc.client.kill.max</name><value>10</value></property>
<property><name>fs.s3n.impl</name><value>org.apache.hadoop.fs.s3native.NativeS3FileSystem</value></property>
<property><name>io.mapfile.bloom.size</name><value>1048576</value></property>
<property><name>fs.s3.sleepTimeSeconds</name><value>10</value></property>
<property><name>fs.s3.block.size</name><value>67108864</value></property>
<property><name>fs.kfs.impl</name><value>org.apache.hadoop.fs.kfs.KosmosFileSystem</value></property>
<property><name>ipc.server.listen.queue.size</name><value>128</value></property>
<property><name>hadoop.util.hash.type</name><value>murmur</value></property>
<property><name>ipc.client.tcpnodelay</name><value>false</value></property>
<property><name>io.file.buffer.size</name><value>4096</value></property>
<property><name>fs.s3.buffer.dir</name><value>${hadoop.tmp.dir}/s3</value></property>
<property><name>hadoop.tmp.dir</name><value>/tmp/hadoop-${user.name}</value></property>
<property><name>fs.trash.interval</name><value>0</value></property>
<property><name>io.seqfile.sorter.recordlimit</name><value>1000000</value></property>
<property><name>fs.ftp.impl</name><value>org.apache.h
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值