hadoop
文章平均质量分 91
^-无涯-^
这个作者很懒,什么都没留下…
展开
-
hadoop 2.5.2执行bin/hdfs namenode -format报错
按照hadoop 2.5.2文档学习,在执行命令bin/hdfs namenode -format时,老是报错:java.lang.NoClassDefFoundError: namecode到网上搜了很多解决方法,有说修改etc/hadoop/hadoop-env.sh增加export HADOOP_COMMON_HOME=/root/test/hadoo原创 2014-12-31 17:05:57 · 5108 阅读 · 0 评论 -
Hadoop-2.5.2集群安装配置详解
转载请注明出处:http://blog.csdn.net/tang9140/article/details/42869531最近学习了下hadoop的安装。下面详细说明下步骤一、环境我的是在Linux环境下进行安装的。对于想在windows系统上学习的同学,可以采用虚拟机方式或通过cygwin模拟linux环境方式进行学习。现在有三台服务器,分配如下:10.0.1.原创 2015-01-19 09:43:33 · 6287 阅读 · 1 评论 -
hadoop中map和reduce的数量设置问题
转载http://my.oschina.net/Chanthon/blog/150500map和reduce是hadoop的核心功能,hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算,从这个观点来看,如果将map和reduce的数量设置为1,那么用户的任务就没有并行执行,但是map和reduce的数量也不能过多,数量过多虽然可以提高任务并行度,但是太多的map和red转载 2015-05-21 09:08:40 · 5729 阅读 · 0 评论 -
mvn+eclipse构建hadoop项目并运行(超简单hadoop开发入门指南)
本文详述如何在windows开发环境下通过mvn+eclipse构建hadoop项目并运行必备环境windows7操作系统eclipse-4.4.2mvn-3.0.3及用mvn生成项目架构(参阅mvn入门指南)hadoop-2.5.2(直接上hadoop官网下载hadoop-2.5.2.tar.gz并解压到某个目录)windows7下环境配置1、本地hadoop环境配置 添加环境变量H原创 2015-05-15 10:07:03 · 2291 阅读 · 1 评论