在CDH3上运行mahout的random forest算法时的异常处理

最新推荐文章于 2024-05-06 10:37:06 发布
最新推荐文章于 2024-05-06 10:37:06 发布
阅读量189 收藏
点赞数
分类专栏： mahout 文章标签： java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baiyunl/article/details/84091772
版权

在应用apache mahout中的random forest分类的时候，报java.lang.IllegalStateException: java.io.EOFException异常。具体如下图：

 


这个错误发生是在训练出模型后，将模型存储的时候。原因是cloudera的hadoop版本在mapreduce 任务运行完后，会生成一个_SUCCESS目录，这将导致如上异常。

 

 

解决的办法是在配置文件mapred-site.xml中加入配置mapreduce.fileoutputcommitter.marksuccessfuljobs 值为false。

 

<property>
    <name>mapreduce.fileoutputcommitter.marksuccessfuljobs</name>
    <value>false</value>
</property>

 

英文解释见：http://blog.nemccarthy.me/?p=82

 

baiyunl
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Mahout---随机森林算法示例
Star-Technology
07-06 3019
Step 1： 准备样本集，由于数据太多了，所以只截取部分数据1,1.52101,13.64,4.49,1.10,71.78,0.06,8.75,0.00,0.00,1 2,1.51761,13.89,3.60,1.36,72.73,0.48,7.83,0.00,0.00,1 3,1.51618,13.53,3.55,1.54,72.99,0.39,7.78,0.00,0.00,1 4,1.517
【甘道夫】如何在cdh5.2上运行mahout的itemcf on hadoop
甘道夫的大数据进化论
10-23 3188
环境： hadoop-2.5.0-cdh5.2.0 mahout-0.9-cdh5.2.0 步骤： 基本思路是，将mahout下的所有jar包都引入hadoop的classpath即可，所以修改了$HADOOP_HOME/etc/hadoop/hadoop-env.sh，添加如下代码将mahout的所有jar包引入hadoop的classpath： f
限制Spark往HDFS写出数据时，生成_SUCCESS文件
qq_45124566的博客
10-28 1980
限制Spark/SparkSQL往HDFS写出数据时，生成_SUCCESS文件
Mahout random forest 随机森林小案例
Ichimaru_Gin_的博客
01-24 1589
写在前面 菜鸟真的需要耗费大量的时间各种试才能解决问题啊。。。~~o(>_ 首先介绍一下我尝试的过程，大家可以参考着排排错。 1. 我最初用的是mahout最新的0.13版本，想要按照官方给出的案例（Classifying with random forests）测试并学习一下随机森林的用法，但是发现根本没办法按照这个官方文档去做。虽然官方给出的0.13版本API的文档，但是它的测试用例还是
mahout random forests分布式策略
星.云计算
09-29 218
关于mahout中的random forests算法在前面已经分析过，这里简要说下其并行策略。 刚开始的时候，我以为这个算法好像没啥并行的地方，一开始就是对全部原始数据进行分析，也没有对原始数据进行分片。然后它的job任务也只有一个mapper，这样如何才能多建立几个mapper？然后这样才能达到几个节点并行吧（一个节点计算一个mapper，这样效率才高过一个节点计算多个mapper）。但是如果...
hadoop+mahout——错误集锦
u010173059的博客
12-02 553
收藏使用 hadoop jar mahout-example-xxxx-job org.apache.....遇到的错误 INFO kmeans.Job: Running with default arguments 2018-12-02 11:38:29,046 INFO kmeans.Job: Preparing Input 2018-12-02 11:38:29,169 INFO cli...
【甘道夫】基于Mahout0.9+CDH5.2运行分布式ItemCF推荐算法
既认准这条路，又何必在意要走多久
05-19 1645
环境： hadoop-2.5.0-cdh5.2.0 mahout-0.9-cdh5.2.0 引言 虽然Mahout已经宣布不再继续基于Mapreduce开发，迁移到Spark，但是实际面临的情况是公司集群没有足够的内存支持Spark这只把内存当饭吃的猛兽，再加上项目进度的压力以及开发人员的技能现状，所以不得不继续使用Mahout一段时间。 今天记录
基于CDH3的BigInsights集群的搭建与应用
02-26
如何在用户现有的CDH平台之上集成IBM特有的数据分析模块，既是客户实际应用中的迫切需求，也是IBMBigData的重要发展策略。本文首先简要介绍BigInsights与Cloudera集成的相关背景，在此基础上介绍基于cloudera的...
mahout-0.9-cdh5.5.0.tar.gz
03-07
mahout-0.9-cdh5.5.0.tar.gz
适配CDH6.3.2的Spark3.2.2
08-16
自编译spark3适配CDH6.3.2
Sqoop 导入数据异常处理
01-07
我在直接下载https://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.0.tar.gz 解压使用会出现几个bug，之前也是出现了，然后也没有来记录一下。现在记录一下. 问题1. 第一个，你要把mysql驱动包放在lib目录下...
hadoop cdh3u6 在eclipse3.6.2下的插件
05-03
hadoop cdh3u6的版本在eclipse3.6.2下的插件，将jar包放入eclipse安装路径下的plugins文件夹，重启即可。
Mahout-RandomForests
公子的专栏
01-20 1712
1. 数据下载与准备 1.1 下载地址为http://nsl.cs.unb.ca/NSL-KDD/ 1.2打开下载的数据，删除其中以@开头的数据  1.3 将数据上传到hdfs # $HADOOP_HOME/bin/hadoop fs -mkdir /testdata # $HADOOP_HOME/bin/hadoop fs -put /usr/local/mahout/data/
链表刷题集
yajunjiao的专栏
04-30 904
本文主要列举了一些刷的题，不多，有那么几道，也建议各位去建立自己的刷题集。积少成多。
《设计一款蓝牙热敏打印机》
最新发布
唐顺才的博客
05-06 182
安卓apk用java + kotlin编写、上位机用Qt编写。主控芯片用易兆威蓝牙ic，通讯接口：蓝牙、串口、usb。
【一步一步了解Java系列】：探索Java基本类型与C语言的区别
2302_81249757的博客
04-29 1219
​​喜欢的一句话： 常常会回顾努力的自己，所以要为自己的努力留下足迹。作者：小闭。
Nacos 配置中心实例分析实践
m0_73557631的博客
05-03 1016
​ 浏览器: http://localhost:5000/nacos/config/ip。先创建e-commerce-nacos-config-client5000 模块。​ 启动e-commerce-nacos-config-client5000。​ 启动Nacos Server。
公考学习平台|基于SprinBoot+vue的公考学习平台(源码+数据库+文档)
weixin_66413741的博客
04-30 1361
本共享汽车管理系统有管理员和用户。管理员功能有个人中心，用户管理，投放地区管理，汽车信息管理，汽车投放管理，汽车入库管理，使用订单管理，汽车归还管理。用户可以在注册登录，可以对汽车进行使用产生订单，还可以归还。因而具有一定的实用性。本站是一个B/S模式系统，采用Spring Boot框架，MYSQL数据库设计开发，充分保证系统的稳定性。系统具有界面清晰、操作简单，功能齐全的特点，使得共享汽车管理系统管理工作系统化、规范化。
我要在cdh6中部署spark3
07-11
你可以按照以下步骤在CDH 6中部署Spark 3： 1. 确保你的CDH集群已经安装并运行正常。 2. 下载Spark 3的二进制分发版。你可以从Apache Spark官方网站或者Cloudera官方网站下载。 3. 解压缩Spark 3二进制分发版到一...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值