![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
ghychina
这个作者很懒,什么都没留下…
展开
-
hadoop 配置ssh无密码访问。。配置后还是需要密码
目录权限的问题,.ssh目录我一般是700,authorized_keys文件我一般是600,这样就可以了 然后需要把authorized_keys里的内容清空一下,然后再把公钥引入就好了。转载 2012-03-23 16:58:38 · 563 阅读 · 0 评论 -
【转载】编译 Hadoop 1.0.2 eclipse插件
【转载】编译 Hadoop 1.0.2 eclipse插件 以下内容经测试在Hadoop 1.0.3 中成功。 新手一下午+一晚上+一早晨的探索,为后续新手留下经验如下: 1、在eclipse里新建一个java项目,名字随意。 2、把hadoop 1.0.2解压目录\src\contrib\eclipse-plugin下所有文件直接拖拽到项目中。\src\contrib目录下的build-转载 2012-10-16 16:03:10 · 553 阅读 · 0 评论 -
Eclipse插件调试Hadoop程序报/work/tmp does not exist.
转自:http://albb0608.iteye.com/blog/1292416 最近再学习Hadoop,用的是Cygwin伪分布模式,今天按照书上的例子写了个小MapReduce程序,在eclipse中运行了一下,执行后报错,下面帖一下错误代码 11/12/05 16:10:35 INFO mapred.JobClient: Task Id : attempt_2011120516转载 2012-05-07 17:21:45 · 476 阅读 · 1 评论 -
Bad connect ack with firstBadLink 192.168.*.*:50010
转自:http://lykke.iteye.com/blog/1320558 Exception in thread "main" java.io.IOException: Bad connect ack with firstBadLink 192.168.1.14:50010 at org.apache.hadoop.hdfs.DFSClient$DFSOutputStr转载 2012-05-02 12:52:57 · 1470 阅读 · 0 评论 -
JobTracker任务调度器之JobQueueTaskScheduler
转自:http://blog.csdn.net/xhh198781/article/details/7046389 在客户端把作业提交给JobTracker之后,JobTracker就需要开始考虑把这个Job交给那些TaskTracker来执行——Job任务调度。当然在JobTracker调度该Job之前,必须要确保该Job的JobInProgress被初始化了,即将Job划分为若干个ma转载 2012-05-02 17:18:36 · 398 阅读 · 0 评论 -
mapreduce中jobtracker进程的分析
转自:http://blog.csdn.net/lance_123/article/details/6040807 对于 JobTracker 来说,主要做的事情有: 与客户端的通信:接收客户端的命令,如提交 job , kill job 。 接收 TaskTracker 心跳:为 TT 分配 Task 任务队列,更新 task 状态,以及监测 TT 的状态。 内部处理操作: 对转载 2012-04-27 14:46:09 · 293 阅读 · 0 评论 -
FairScheduler(公平调度器)的源码阅读
转自:http://blog.csdn.net/lance_123/article/details/6056161 FairScheduler 是 hadoop 中的作业公平调度器,主要是解决当 TT 发送心跳告诉 JT 当前的空闲 slots 时,希望 JT 分配给 TT 相应多个 task ,让 TT 去执行这些 task 。所以 JT 就需要一个调度器来对作业进行调度,选择出作业,然后将作转载 2012-04-27 15:00:32 · 701 阅读 · 0 评论 -
用 Ganglia 监控hadoop集群
转自:http://blog.csdn.net/a221133/article/details/6947446 随着数据中心的增长和管理人员的缩减,对计算资源使用有效监视工具的需求变得比以往更加迫切。术语监视 在应用到数据中心时可能会让人混淆,因为它的含义会根据具体的说话者和听众而有所不同。例如: 在集群中运行应用程序的人员会思考:“我的作业什么时候运行?它什么时候会完成?以及与上转载 2012-03-19 11:01:23 · 1100 阅读 · 0 评论 -
NAGIOS
Nagios是一款开源的免费网络监视工具,能有效监控Windows、Linux和Unix的主机状态,交换机路由器等网络设置,打印机等。在系统或服务状态异常时发出邮件或短信报警第一时间通知网站运维人员,在状态恢复后发出正常的邮件或短信通知。 功能介绍 Nagios 可以监控的功能有: 1、监控网络服务(SMTP、POP3、HTTP、NNTP、PING等); 2、监控主机资源(处理器负荷、磁盘转载 2012-03-19 14:16:19 · 610 阅读 · 0 评论 -
hadoop状态分析系统chukwa
转自 。http://baidutech.blog.51cto.com/4114344/748264 Apache 的开源项目 hadoop, 作为一个分布式存储和计算系统,已经被业界广泛应用。很多大型企业都有了各自基于 hadoop 的应用和相关扩展。当 1000+ 以上个节点的 hadoop 集群变得常见时,集群自身的相关信息如何收集和分析呢?针对这个问题, Apache 同样提出了转载 2012-03-19 14:12:34 · 243 阅读 · 0 评论 -
Hadoop性能分析工具Hitune的安装(CentOS)
简介: Hitune是建立在chukwa之上的对于hadoop的分析软件,不过hitune的呈现方式是通过excel来展示的,感觉上他对于hadoop的分析更为透彻和具体,下面给几个它分析得到的图片: 安装流程: 1.装备好hadoop,确保hadoop是正确的 我使用了三个节点,ip分别是10.10.104.115,10.10.104.1转载 2012-03-19 13:30:42 · 492 阅读 · 0 评论 -
使用Ganglia对hadoop进行监控
Ganglia是一个监控服务器,集群的开源软件,能够用曲线图表现最近一个小时,最近一天,最近一周,最近一月,最近一年的服务器或者集群的cpu负载,内存,网络,硬盘等指标。 Ganglia的强大在于:ganglia服务端能够通过一台客户端收集到同一个网段的所有客户端的数据,ganglia集群服务端能够通过一台服务端收集到它下属的所有客户端数据。这个体系设计表示一台服务器能够通过不同的分层能够管理上转载 2012-03-19 10:27:23 · 470 阅读 · 0 评论 -
Hadoop缺省端口列表
Hadoop缺省端口列表 转自:http://hsrong.iteye.com/blog/1374734 50030 mapred.job.tracker.http.address 描述:JobTracker administrative web GUI JOBTRACKER的HTTP服务器和端口 50070 dfs.ht转载 2012-03-12 10:36:17 · 508 阅读 · 0 评论 -
Apache Hadoop 1.0.0支持Kerberos验证,支持Apache HBase,提供针对HDFS的RESTful API
经过六年时间的酝酿,开源分布式计算和Big Data框架Apache Hadoop终于发布1.0.0版本。本次发布的新特性包括: 安全特性(Kerberos协议下的强验证)改进对Apache HBase的支持(支持针对事务日志操作的sync和flush)。允许在hflush/sync操作进行期间,对HDFS客户端发起新的写入 。Webhdfs为Hadoop分布式文件系统(HDFS)提供了一套转载 2012-03-09 13:45:58 · 1026 阅读 · 1 评论 -
http://archive.cloudera.com/cm4
http://archive.cloudera.com/cm4 http://archive.cloudera.com/cdh4/ http://beta.cloudera.com/impala/原创 2012-11-23 16:50:57 · 355 阅读 · 0 评论