Hadoop
jszhangyili
这个作者很懒,什么都没留下…
展开
-
hadoop学习之hadoop集群功能简单测试验证
前几天对hadoop分布式集群的安装过程进行了总结,对hadoop的集群搭建只是学习hadoop中的艰难的一步,后面还需要学习更多的知识,不知道自己能不能坚持下去,不知道后面还会遇到多少困难,不过,我想,只要努力坚持下去,困难总是能够解决的。这次主要总结对hadoop集群测试相关的内容,对每个程序员而言,实践是最好的老师,这个过程就好比初学编程时,学了很多理论知识,表面上知道是那么一回事,一旦实践转载 2013-03-13 16:05:50 · 985 阅读 · 0 评论 -
hadoop安全模式
hadoop@master:~/input$ hadoop dfs -put ./ input: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/hadoop/in. Name node is in safe mode. 解决方法:Na原创 2013-03-13 16:08:20 · 785 阅读 · 0 评论 -
在本机windows下,通过eclispe连接到linux虚拟机上安装好的haoop,进行开发调试
linux上装好hadoop之后,可以等陆到linux上通过hadoop的shell命令查看hadoop的 hdfs文件系统,执行写好的mapreduce程序,但是这样会很不方便,我们通常 的做法是在windows下开发程序,调试成功之后,再发布到linux上执行,这一部分就是来分享一下如何配置windows下的eclipse,可以链接到linux下的hadoop。配置过程如下:转载 2013-03-15 14:35:41 · 2398 阅读 · 1 评论 -
Hadoop源代码编译问题解析
hadoop的源代码分为两种一种是这是可以直接搭建运行的版本,其中包括编译后的文件和源代码。但是要是想对源代码进行修改或者其他的操作最好还是从版本控制器中导出源代码在完成eclipse编译Hadoop代码之后可能还有这样的错误可以解压hadoop-0.20.2.tar.gz从Lib中将commons-logging-api-1.0.4.jar考到代码原创 2013-03-20 10:20:07 · 829 阅读 · 0 评论 -
hadoop学习之hadoop完全分布式集群安装
要想深入的学习hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起来,就是一个hadoop分布式集群了。说来简单,但是应该怎么做呢?不急,本文的主要目的就是让新手看了之后也能够亲自动手实施这些过程。由于本人资金不充裕,只能通过虚拟机来实施模拟集群环境,虽然说是虚机模拟,但是在转载 2013-03-11 09:02:26 · 858 阅读 · 0 评论 -
hadoop Capacity Scheduler解析
计算能力调度器算法 总结为什么有计算能力调度器克服现有单一队列fifo 性能低效问题,适合于多用户共享集群的环境的调度器好比说部署一个hdfs有不同的用户在记录数据并进行分析,需要按用户级别进行集群资源使用的控制也可以简单这么理解 有dfs 和mine 2帐号进行任务的提交,可以控制这2个用户的集群资源使用率Capacity Scheduler支持以下特性1.原创 2013-03-20 19:52:24 · 1924 阅读 · 0 评论 -
Windows 下配置 Eclipse 连接 Hadoop 开发环境
原文地址:http://www.cnblogs.com/shitouer/archive/2012/05/29/2522860.html个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址:Windows 下配置 Eclipse 连接 Hadoop 开发环境,欢迎原站访问~ 学习更多,请访问系列文章:1. VMware Redhat转载 2013-04-19 08:44:04 · 777 阅读 · 0 评论 -
修改Hadoop作业调度算法过程解析
最近几个星期一直在修改hadoop的计算能力调度算法,遇到了这样那样的问题。我修改的版本是hadoop-0.20.2第一步:将hadoop的源码加载到eclipse中配置使用ant编译第二步:根据需要修改源码第三步:使用ant编译修改内容,这里要提醒的就是要保证编译平台的JDK和运行平台的JDK相同ant编译的方法是:首先到$HadoopHome/src/contr原创 2013-06-18 16:21:23 · 1997 阅读 · 0 评论 -
解决Hadoop0.21.0 HDFS/MapReduce编译错误(ivy-resolve-common does not find hadoop-commo)
转自:http://junsky.iteye.com/blog/1070647解决Hadoop0.21.0 HDFS/MapReduce编译错误(ivy-resolve-common does not find hadoop-commo) 最近老大安排,要跟踪HDFS ConcatenateFile的前提条件;于是尝试用ant/ivy编译了一下hdfs,提示ivy找不到hadoop转载 2013-08-02 16:50:32 · 6878 阅读 · 0 评论