Hadoop
Nazroo
这个作者很懒,什么都没留下…
展开
-
Ubuntu下安装jdk+Hadoop+Mahout
1.Ubuntu11.10的安装:华硕笔记本电脑在安装ubuntu 的时候无法安装,出现错误,这样的错误不一定是你光盘,光驱等刻录的问题。有可能无法安装出现两种情况,第一种就是启动ubuntu 光盘或者u盘时,一个光标就是在闪动无法进行安装了。还有就是如下错误信息EISA:Probing bus 0 at eisa.0EISA:Cannot allocate resource转载 2013-12-06 14:58:36 · 1453 阅读 · 0 评论 -
Hadoop Hdfs配置过程全程报道
在学习Hadoop的过程中,你可能会遇到Hadoop Hdfs配置问题,本节就接着上节和大家继续分享一下Hadoop Hdfs配置方法,相信通过本节的学习你一定会对Hadoop的配置有新的认识。下面是具体步骤接介绍。1、配置slaves,修改conf/slavesdata-dfs复制hadoop-2.20.1目录以及所有文件到DataNode和Clientscp-rp/data/s转载 2013-12-21 22:06:46 · 905 阅读 · 0 评论 -
Hadoop分布式搭建配置(详细)
Hadoop分布式搭建配置(详细)一、前期准备1、hadoop-0.20.203.0rc1.tar.gz(官网下载)2、VMware7 (官网下载)3、jdk-6u25-linux-i586.bin (官网下载) 4、 Ubuntu 10.04 (ISO) 用户:matraxa(192.168.110.100) 对应 namenode、secondnamenode、转载 2013-12-21 21:24:35 · 901 阅读 · 0 评论 -
Eclipse下配置使用Hadoop插件
前提,请先配置好Hadoop集群,并启动Hadoop守护进程。集群搭建参见:http://blog.csdn.net/matraxa/article/details/7179366我使用的软件版本如下:Ubuntu: Ubuntu10.04JDK: jdk1.6.0_25Eclipse: Eclipse3.71Hadoop: Hadoop-0.20.203.0转载 2013-12-21 21:19:13 · 1075 阅读 · 0 评论 -
The type java.lang.Object cannot be resolved解决方法
最近,在Eclipse中导入其他项目,总是报下面2个错误。将项目所需的jar都引入了。依然还存在这个问题。1.The project was not built since its build path is incomplete. Cannot find the class file for java.lang.Object. Fix the build path then try bu转载 2013-12-21 20:39:06 · 1649 阅读 · 0 评论 -
在eclipse中配置hadoop插件
1.安装插件准备程序:eclipse-3.7 hadoop-eclipse-plugin-1.0.1(http://download.csdn.net/detail/xiaoping8411/4216102)将hadoop-eclipse-plugin-1.0.1复制到eclipse/plugins目录下,重启eclipse。2.打开MapReduce视图Window转载 2013-12-20 00:00:45 · 1054 阅读 · 0 评论 -
win7安装hadoop及eclipse调试mapreduce的配置方法
主要流程分为4部分: 1.安装cygwin配置sshd服务 2.配置hadoop 3.配置eclipse访问hadoop 4.配置eclipse测试mapreduce 第1步是最容易出现各种问题的地方,我在配置服务的时候前后遇到解决过一二十个问题,建议1、2步如果出现什么问题最好完全卸载删除然后严格按照步骤重新来。 1.安装cygwin配置sshd服务 安装cygwin转载 2013-12-15 21:22:00 · 1374 阅读 · 0 评论 -
hadoop常见错误及处理方法
如果大家在安装的时候遇到问题,或者按步骤安装完后却不能运行Hadoop,那么建议仔细查看日志信息,Hadoop记录了详尽的日志信息,日志文件保存在logs文件夹内。 无论是启动,还是以后会经常用到的MapReduce中的每一个job,以及HDFS等相关信息,Hadoop均存有日志文件以供分析。1、hadoop-root-datanode-master.log 中有如下错转载 2013-12-06 15:16:37 · 1046 阅读 · 0 评论 -
Hadoop家族学习路线图
1. Hadoop家族产品截止到2013年,根据cloudera的统计,Hadoop家族产品已经达到20个!http://blog.cloudera.com/blog/2013/01/apache-hadoop-in-2013-the-state-of-the-platform/接下来,我把这20个产品,分成了2类。第一类,是我已经掌握的第二类,是TODO准备继转载 2013-12-12 19:44:09 · 1092 阅读 · 0 评论 -
eclipse报错问题
Eclipse启动时报错:A Java RunTime Environment (JRE) or Java Development Kit (JDK) must be available in order to run Eclipse. No java virtual machine was found after searching the following locations:…原创 2013-12-12 21:53:10 · 834 阅读 · 0 评论 -
Maven Integration for Eclipse
1. 添加依赖插件 (重要) Help -> Install New Software -> Available Software Sites -> Add 然后输入 Name: GEF Update Site: http://download.eclipse.org/tools/gef/updates/releases/ 2. 安装Maven Integration fo转载 2013-12-10 22:29:08 · 1653 阅读 · 0 评论 -
java环境配置和开发软件Eclipse如何安装
1.首先JDK(Java Development Kit)不用说了吧,既然你要学习java相信你已经知道它是干什么的了,在sun公司的网站就可以免费获得! 下载好JDK后,我们一步步的将他安装到我们的本地系统,比如安装到:C:\Program Files\Java目录下,然后就是配置环境变量了,我这里只介绍在Windows平台上的配置!步骤如下:我的电脑---属性---高转载 2013-12-10 16:54:49 · 858 阅读 · 0 评论 -
解决Eclipse无法打开“Failed to load the JNI shared library”
这是因为JDK配置错误所导致的现象。一般说来,新购笔记本会预装64位的windows系统,而在网上下载软件时,32位会优先出现在页面中(现在来说是这个情况,但我认为未来64位会越来越普及)。如果你是64位的系统,却安装了32位的JDK,就会导致上面的情况。解决办法如下:卸载掉原来安装的32位的JDK,然后安装64位的JDK到电脑中。重新修改p转载 2013-12-10 19:19:39 · 836 阅读 · 0 评论 -
hadoop安装过程中所遇到的问题
1.hadoopdatanode启动不起例如:NameNode和DataNode的namespaceID不一致,这个错误是很多人在安装时会遇到的,日志信息为:java.io.IOException: Incompatible namespaceIDs in/root/tmp/dfs/data:NameNode namespaceID = 130767原创 2013-12-08 02:00:57 · 1108 阅读 · 0 评论 -
hadoop学习---3.hadoop在ubuntu下的安装配置
前面均在windows下进行,但是在安装hadoop过程中出了一些问题,先暂时切换到linux下,回头再补充windows下的安装。不过通过对比确实发现,在linux下的安装配置确实比较简单。一.安装ubuntu 我是下载的ubuntu12.04,在64位的虚拟机上使用virtualbox安装的,没错,是在虚拟机上在安装虚拟机,然后安装ubuntu具体安装过程就不描述了,转载 2013-12-06 15:15:22 · 669 阅读 · 0 评论 -
Linux下Hadoop的安装(单机版)
1.安装前准备1.1创建hadoop用户首先创建hadoop用户组和用户,如果对linux命令不熟悉,可以参考http://blog.csdn.net/huhui_bj/article/details/8878701中的命令。[plain] view plaincopyaddgroup hadoop //创建hadoop组转载 2013-12-06 15:13:25 · 1021 阅读 · 0 评论 -
Hadoop在Linux下伪分布式的安装 wordcount实例的运行
例子中所有命令都在/home/wangxing/hadoop-0.20.2下执行 1.安装配置java1.6(不累述)。配置完毕后,在命令行中输入java-version,如出现下列信息说明java环境安装成功。java version "1.6.0_20"Java(TM) SE Runtime Environment (build 1.6.0_20-b02)Java HotS转载 2013-12-21 22:20:57 · 1394 阅读 · 0 评论