- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hadoop学习笔记（七）reduce在16%暂停
reduce在16%暂停因为有两台datanode，但是各台host文件中并没有添加各自的ip，在datanode1和datanode2中分别加上各自的ip地址就行。因为当datanode1和datanode2执行完map后有一个shuffle过程，如果datanode1不知道datanode2的ip地址就会导致失败，所以datanode1的hosts文件中应该有datanode2的，同样
2013-05-04 15:47:29
636
原创 hadoop学习笔记（五） java heap space报错
Java heap space 报错实验过程中，执行map过程中，出现task failed，报错为java heap space，原因是jvm的内存太小了，无法达到要求，修改方法一般是改进程序，减小程序消耗的内存，还有就是增大datanode的jvm内存。因为在datanode上使用java -Xmx命令出现无法创建虚拟机的报错（不知道什么原因），所以只能去更改mapred
2013-05-04 15:35:48
850
原创 hadoop学习笔记（四）Wrong FS报错
Wrong FS expected: file:/// 问题 对于一个简单的hadoop api调用问题，经常出现以下报错：Configuration conf = new Configuration（）；FileSystem fs = FileSystem.get(conf);fs.copyFromLocalFile(new Path(“/home/ptrdu/inp
2013-05-04 15:33:19
1400
原创 hadoop学习笔记（三）mapreduce程序wordcount
Mapreduce程序WordCount参考：http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.htmlhttp://www.cnblogs.com/taven/archive/2012/11/03.htmlhttp://luluq1987.blog.163.com/blog/static/407906812011
2013-05-04 15:32:19
1250
转载 hadoop学习笔记（二）eclipse插件的配置（转载）
转载自http://www.cnblogs.com/hiddenfox/archive/2011/11/26/2264461.html 在eclipse中配置hadoop插件1.安装插件准备程序：eclipse-3.3.2（这个版本的插件
2013-05-04 15:28:33
516
原创 hadoop学习笔记（一） 环境的配置
Hadoop环境的搭建环境配置需要：vm8，ubuntu11.10，hadoop 构架：（虚拟机下）： namenode：192.168.75.129 Datanode1：192.168.75.131 Datanode2：192.168.75.130配置步骤：（一）：虚拟机下安装ubuntu。（二）：安装jdk，并配置环境：
2013-05-04 15:14:12
4588
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人