DistributedCache FileNotFoundException

最新推荐文章于 2021-11-30 19:54:26 发布

molian123456

最新推荐文章于 2021-11-30 19:54:26 发布

阅读量138

点赞数

分类专栏： Hadoop 文章标签：大数据

本文链接：https://blog.csdn.net/molian123456/article/details/84224052

版权

Hadoop 专栏收录该内容

31 篇文章 0 订阅

订阅专栏

此时注意两种文件路径表示形式，一个在HDFS中。一一个是本地文件系统

DistributedCache.getLocalCacheFiles (job) 返回的是：/home/hadoop/In

然而：HDFS：hdfs://home/hadoop/In

本地: file://home/hadoop/In

此时如果你想在HDFS获取数据，同时直接使用DistributedCache.getLocalCacheFiles (job)的路径。

则会发生在本地系统查找文件的情况，则就会报FileNotFoundException

解决方法：file：// + DistributedCache.getLocalCacheFiles (job)

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

molian123456

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Mahout算法源码（0）：搭建环境及Canopy获得输入数据

fansy1990的专栏

07-21

6713

使用软件：VMware6.5 、redhat、hadoop-1.0.4、eclipse、mahout-0.7（主机为win7）； 1.首先使用虚拟机搭建一个伪分布式hadoop集群，在主机的浏览器中输入：虚拟机名:50030 ，查看集群状态（可以参考配置hosts文件）； 2. 下载两个版本的mahout（以1.7为例），如下图所示：其中mahout-distribution

mapreduce如何使用本地文件

fengsen444的专栏

07-26

4554

对于java来说，读取本地文件再正常不过。但是对于mapreduce程序来说，读取本地文件常常会陷入误区。本地明明有这个文件，在本地运行jar包，mapreduce为什么读不到？因为我们知道，mapreduce程序本来就不是在本地执行的，程序会分布式的在各个机器上执行，你当然读不到文件，那所谓的“本地文件”就不叫“本地文件”，当然只有一个例外：你的hadoop集群是伪集群。比如下面的示例：

参与评论您还未登录，请先登录后发表或查看评论

网络图片三级缓存，在本地缓存中遇到的坑，向文件中写入文件出现FileNotFoundException的异常

weixin_43889378的博客

05-25

376

记录一下： private static final String CACHE_PATH = Environment.getExternalStorageDirectory().getAbsolutePath() + "/DownFile/"; void addBitmapToLocalCache(String url, Bitmap bitmap) { try { ...

SSH（exception）

RieWorm的博客

04-19

193

ssh（spring3 +struts2+hibernate4）整合出现的问题： spring从3.1开始不再提供对hibernate4的Template和DaoSupport的支持。异常：java.lang.ClassNotFoundException: org.hibernate.cache.CacheProvider。。。解决： ClassNotFoundException C...

Class ‘\think\cache\driver\File‘ not Found

qq_38192709的博客

11-11

1536

问题描述：MIP在搬家的时候出现（Class ‘\think\cache\driver\File’ not Found）；解决方法：把MIP 原来的 /system/thinkphp/library/think/ 目录下的 cache 打包上传解压即可。解决思路：通过网站的错误日志，发现给出的目录文件路径是 /system/thinkphp/library/think/cache 不存在；【我自己是通过tar 打包(除了 runtime 这个目录没有打包)，缺少这个目录是我真的想不到】然后MIP拷贝

job用法 Java_Java Job.addCacheFile方法代码示例

weixin_34878397的博客

02-16

489

import org.apache.hadoop.mapreduce.Job; //导入方法依赖的package包/类public void _testDistributedCache(String jobJarPath) throws Exception {if (!(new File(MiniMRYarnCluster.APPJAR)).exists()) {LOG.info("MRAppJa...

在Eclipse上运行Hadoop程序，DistributedCache找不到文件缓存的问题

北邮大数据

04-06

2511

2014期李海波同学作品【原文链接】前一段时间在网上找了一个K-means算法的分布式实现，里面涉及到分布式缓存DistributedCache的问题，我在eclipse中运行MapReduce程序，运行后在命令窗口中明明显示分布式缓存已经建立，但是程序就是读取不到文件，网上各种查找方法，没有解决。后面我采用一种折中的办法，就是在每个Map或者Reduce中采用FileS

MapReduce实现join

静卧人间的专栏

11-30

602

在我们平常的大数据项目开发和项目需求中，可能需要我们完成在关系型数据库中十分常见的join类功能。那么针对这种类型的功能需求，用hadoop中的MapReduce模型应该要怎么实现呢？本篇文章将针对这种功能需求提供几种实现选择。首先，我的开发环境为：jdk1.7，hadoop2.6.4，CentOS71. 利用DistributedCache实现JoinDistributedCache：这是Hado

二、TopN问题解决方案

dengjiaxing0321的博客

01-03

1505

1、使用hadoop的map/reduce解决TopN问题（唯一键）首先使用SequenceFileWriterForTopN函数生成sequence文件， SequenceFileWriterForTopN函数代码如下： package chap03.mapreduce; import java.io.IOException; import java.net.URI; import j

MapReduce核心设计（三）—— 作业提交与初始化过程分析

阿松的博客

11-30

359

三个组件 JobClient（准备运行环境） JobTracker（接收作业） TaskTracker（初始化作业）注意，本书写的是1.x版本，hadoop2.x版本以及使用yarn来管理了，没有JobTracker和TaskTracker了新旧Hadoop MapReduce框架对比 1、客户端不变，其调用API及接口大部分保持兼容，这也是为了开发使用者透明化，对原码不必做大的改变，但是原框架的JobTracker和TaskTracker不见了，取而代之的是ResourceManager App.

（1）Shiro笔记-整合Ehcache时缺少默认cache配置异常解决

404 Not Found

08-09

5692

在使用Ehcache配置shiro cacheManager时遇到了如下异常，异常全文：org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'shiroFilter' defined in URL [file:/D:/workspace/.metadata/.plugins/or

[Hadoop][distributed cache] java.lang.Exception: java.io.FileNotFoundException:

crazy_scott的博客

10-26

539

在hadoop2.7.3版本中，使用distributed cache时，如果使用新的API： URI[] cacheFiles = context.getCacheFiles(); 则会提示java.lang.Exception: java.io.FileNotFoundException: 我估计是这个版本的bug，建议大家还是使用老的API String localCacheFiles ...

hadoop读取文本格式的问题（读取缓存文件）

qq_42506914的博客

01-09

832

定义缓存文件 01 小米 02 华为 03 格力文件名pd.txt driver 里面添加缓存文件夹路径 job.addCacheFile(new URI("file:///c:/gao/pd.txt")); 在Mapper中setup（）方法中读取文件并存到一个Map中 Map<String,String> pdMap = new Ha...

Android: /cache中的文件是怎么消失的

爱java

03-29

590

自己放某个文件到/cache分区，重启后发现文件消失了，那么是怎么消失的呢? Step 1. packages\providers\DownloadProvider\src\com\android\providers\downloads\StorageManager.java: /** * Removes files in the systemcache and d...

keil:fatal error:“xxxx.h“ file not found解决方法

热门推荐

weixin_47733174的博客

07-05

2万+

我在移植lwip的过程中，出现了头文件不包含的问题，按理这些年经验，不至于范这种低级错误，该添加的添加了，该配置的都配置了。为什么始终会报这个fatal error呢？折腾了一下，后面发现一个小细节，在lwip的xxx.c文件中，很多头文件引用是#include "lwip/xxxx.h"格式的，说明在相对路径下的一个绝对路径，那在options->c/c++下面设置头文件路径的时候，针对lwip应该怎么设置呢？先来看下lwip文件的架构：可以看到，在Include路径下面，包含了4个子文件，

idea 报ClassNotFoundException异常的解决过程

joe的博客

03-11

1万+

一、由于之前使用的都是MyEclipse及Eclipse开发工具，没有接触过idea，最近在使用idea启动Tomcat后部署的项目一直显示类未找到异常。二、首先进行排查 ①在项目的目录结构下的lib文件夹中，是有看到对应的jar包的，故不是jar包没导入。 ②写一个Test程序，通过Class.forName(String className);方法（ClassName写报找不到异常类的...

android 缓存文件权限,Android内部缓存目录中的"java.io.FileNotFoundException:权限被拒绝"...

weixin_30851637的博客

05-30

716

我正在尝试拍照并将其保存到应用程序的内部缓存中,因为它一上传就会被删除.我使用以下代码来创建文件:public static File createInternalCacheImageFile(Context context, String imageFileName) throws IOException {return File.createTempFile(imageFileName,con...

Java专家系列：CPU Cache与高性能编程

karamos的专栏

11-11

3673

认识CPU CacheCPU Cache概述随着CPU的频率不断提升，而内存的访问速度却没有质的突破，为了弥补访问内存的速度慢，充分发挥CPU的计算资源，提高CPU整体吞吐量，在CPU与内存之间引入了一级Cache。随着热点数据体积越来越大，一级Cache L1已经不满足发展的要求，引入了二级Cache L2，三级Cache L3。（注：若无特别说明，本文的Cache指CPU Cache，高速缓存...

Hadoop MapReduce性能优化：DistributedCache算法

文中还提出了一种基于DistributedCache的优化算法，旨在减少mapper输出数据以提升系统性能。关键词涉及Hadoop、MapReduce、性能和算法。" 正文：在大数据背景下，Hadoop作为开源分布式计算框架，因其高扩展性、...