Flume+Hadoop2.8遇到的No FileSystem for scheme: hdfs问题

最新推荐文章于 2024-07-01 15:05:34 发布

秦慧伟

最新推荐文章于 2024-07-01 15:05:34 发布

阅读量2.5k

点赞数 1

分类专栏： Hadoop 文章标签： hadoop flume hadoop2.8 No FileSystem for scheme: hdfs

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/dragon2268/article/details/80989966

版权

Hadoop 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

因为项目需求，最近一直在搭建日志存储服务器，初步打算log4j2+hadoop，然而在使用hdfs sink的时候发现问题了。先说一下大体的使用hdfs sink步骤：

新建xx.conf文件，写入：
把hadoop的配置文件core-site.xml以及hdfs-site.xml放入flume的conf文件夹
把图示jar包放入flume的lib文件夹中：
编辑conf/flume-env.sh文件，指定jdk位置

这个时候启动出现问题了，报错：

按照StackOverflow的说法是core-site中加入：

<property>

<name>fs.hdfs.impl</name>

<value>org.apache.hadoop.hdfs.DistributedFileSystem</value>

</property>

这个时候报新错：无法发现类org.apache.hadoop.hdfs.DistributedFileSystem，所以初步怀疑应该是jar包版本的原因，因为hadoop版本为2.8，所以flume中集成的hadoop jar包也为2.8，果断降级使用，换2.7依然报错，换2.6项目顺利启动，删除core-site中fs.hdfs.impl没有任何影响。等有机会跟踪一下源码发现问题吧。特此记录一下。有转载的朋友说明一下出处，谢谢。

关注

1
点赞
踩
4

收藏

觉得还不错? 一键收藏
1
评论
Flume+Hadoop2.8遇到的No FileSystem for scheme: hdfs问题

因为项目需求，最近一直在搭建日志存储服务器，初步打算log4j2+hadoop，然而在使用hdfs sink的时候发现问题了。先说一下大体的使用hdfs sink步骤：新建xx.conf文件，写入：把hadoop的配置文件core-site.xml以及hdfs-site.xml放入flume的conf文件夹把图示jar包放入flume的lib文件夹中：编辑conf/flume-env.sh文件，指...
复制链接

扫一扫

专栏目录

秦慧伟 CSDN认证博客专家 CSDN认证企业博客

码龄14年

3: 原创

106万+: 周排名

195万+: 总排名

3253: 访问

: 等级

66: 积分

2: 粉丝

3: 获赞

5: 评论

4: 收藏

私信

关注

热门文章

分类专栏

linux 1篇
Hadoop 1篇

最新评论

到底什么是零拷贝？
格斯兰特: [code=java] /* 初始化自动创建保存jfreechart图像保存的文件夹配置文件地址:jfreechart.file.savepath */ File chartFilePath = new File(chartAddress); if(!chartFilePath.exists()) { chartFilePath.mkdirs(); } scheduler.scheduleJob(jobDeail2, trigger2); [/code]
到底什么是零拷贝？
格斯兰特: [code=java] public class QuartzLoad { private static Scheduler sched; static Logger log = Logger.getLogger(QuartzLoad.class); public static void run() throws Exception { SchedulerFactory sfact = new StdSchedulerFactory(); log.info(sfact.toString()); Scheduler scheduler = sfact.getScheduler(); scheduler.start(); delectScheduleJob("RemonitorTaskJob","group1",scheduler); delectScheduleJob("MeasuerSpecGroupTaskJob","group2",scheduler); JobDetail jobDeail = JobBuilder.newJob((Class<? extends Job>) RemonitorTaskJob.class) .withIdentity("RemonitorTaskJob","group1") .build(); CronTrigger trigger = (CronTrigger) TriggerBuilder .newTrigger() .withIdentity("trigger","group1") .withSchedule(CronScheduleBuilder.cronSchedule(ResourceBundle.getBundle("ApplicationResources") .getString("TaskJob.MeasuerSpecGroup.Cron"))) .build(); scheduler.scheduleJob(jobDeail, trigger); //a new scheduler JobDetail jobDeail2 = JobBuilder.newJob(( [/code]
到底什么是零拷贝？
格斯兰特: [code=java] public class ChartFileDeleteTask implements Job{ static Logger log = Logger.getLogger(ChartFileDeleteTask.class); static boolean flag = false;//用来判断文件是否删除成功 @Override public void execute(JobExecutionContext arg0) throws JobExecutionException { // TODO Auto-generated method stub //删除一个文件夹下的所有文件(包括子目录内的文件) String chartAddress = ResourceBundle.getBundle("ApplicationResources") .getString("jfreechart.file.savepath"); File file = new File(chartAddress);//输入要删除文件目录的绝对路径 deleteFile(file); if (flag == false){ log.info("文件删除成功！"); } } public static void deleteFile(File file) { //判断文件不为null或文件目录存在 if (file == null || !file.exists()){ flag = true; log.info("文件删除失败,请检查文件路径是否正确"); return; } //取得这个目录下的所有子文件对象 File[] files = file.listFiles(); //遍历该目录下的文件对象 for (File document: files){ //打印文件名 String filename = file.getName(); log.info(filename); //判断子目录是否存在子目录,如果是文件则删除 [/code]
Flume+Hadoop2.8遇到的No FileSystem for scheme: hdfs问题
格斯兰特: StandardEntityCollection sec = new StandardEntityCollection(); ChartRenderingInfo info = new ChartRenderingInfo(sec); String filename = ServletUtilities.saveChartAsPNG(chart, 700, 300, session); String chartAddress = ResourceBundle.getBundle("ApplicationResources") .getString("jfreechart.file.savepath"); String chartFilePath = chartAddress+filename; FileOutputStream out = new FileOutputStream(chartFilePath); PrintWriter w = new PrintWriter(out); ChartUtilities.writeImageMap(w,"map0",info,false); w.flush(); w.close(); out.flush(); out.close(); graphURL = request.getContextPath() + "/servlet/DisplayChart?filename="+filename; log.info(graphURL);

最新文章

目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。