- 博客(5)
- 收藏
- 关注
RSS订阅转载 hadoop fs -put could only be replicated to 0 nodes, instead of 1 解决方法
我的坏境是在虚拟机linux操作系统中，启动start-all.sh后1、执行jps，如下2、执行hadoop fs -mkdir input 创建成功 执行hadoop fs -ls 可以看到input文件夹3、把本地文件拷贝到前面创建的input文件夹中，执行命令 hadoop fs -put /home/hadoop/file1 input 时报错，...
2013-08-06 18:07:00
127
转载 【转载】redHat linux下安装hadoop 0.20.2, 并在windows下远程连接此hadoop,开发调试
本人在测试的时候发现需要eclipse的版本为Version: 3.3.2和hadoop 0.20.2测试通过，其他eclipse版本测试通不过。原文：http://blog.csdn.net/furiously/article/details/6430525此文章的前提是：知道hadoop是什么，知道什么是分布式系统，了解hdfs和mapreduce...
2012-12-18 15:53:00
144
转载 【转载】数据倾斜总结
数据倾斜总结转载：http://www.alidata.org/archives/2109转在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代...
2012-12-18 15:41:00
115
转载 【转载】Map/Reduce hadoop 细节
Map/Reduce hadoop 细节原文：http://www.cnblogs.com/duguguiyu/archive/2009/02/28/1400278.html分布式计算（Map/Reduce）分布式式计算，同样是一个宽泛的概念，在这里，它狭义的指代，按Google Map/Reduce框架所设计的分布式框架。在Hadoop中，分布式文件系统，很大程度上，是...
2012-12-18 15:39:00
117
转载 suse linux 添加一个虚拟硬盘来增加磁盘空间
点击虚拟机菜单中的【VM】选项选择 setting...进入界面接下去选择添加的硬盘大小点击next最后点击finish,完成添加。注意：必须重启linux系统，才能看到添加的硬盘，如果是第二颗硬盘就为sdb重启系统后运行命令:fdisk -l 可以看到类似以下的界面需要进行磁盘分区、格式化和挂载才...
2012-12-18 15:32:00
899
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人