![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 61
lt200819
这个作者很懒,什么都没留下…
展开
-
Hadoop学习笔记一 简要介绍
这里先大致介绍一下Hadoop. 本文大部分内容都是从官网Hadoop上来的。其中有一篇介绍HDFS的pdf文档,里面对Hadoop介绍的比较全面了。我的这一个系列的Hadoop学习笔记也是从这里一步一步进行下来的,同时又参考了网上的很多文章,对学习Hadoop中遇到的问题进行了归纳总结。 言归正传,先说一下Hadoop的来龙去脉。谈到Hadoop就不得不提到Lucene和Nu...原创 2011-09-20 20:19:35 · 61 阅读 · 0 评论 -
Hadoop Metrics收集机制
Hadoop通过Metrics机制,对集群中各机器的执行参数进行收集和发送。hadoop metrics中主要的功能块为:MetricsContext通过org.apache.hadoop.metrics.ContextFactory,可以获得一个MetricsContext对象,它保存这一组metrics的上下文信息,context启动一个monitor线程来按一定周期来收集和发送收...原创 2013-06-25 09:55:35 · 387 阅读 · 0 评论 -
JobTracker与Scheduler
JobTracker作为hadoop mapred架构中的核心模块,负责接收用户提交的Job请求,将Job(以Task形式)分配到各Task执行。Hadoop将JobTracker分配任务以及任务调度的逻辑进行了独立抽象,交给TaskScheduler完成,从而使得对Hadoop有改进企图的使用者可以通过实现自己的TaskScheduler类来完成对JobTracker的调度机制的个性化定制。...原创 2013-06-22 21:11:20 · 132 阅读 · 0 评论 -
Haoop IPC与Java Proxy机制
关于Hadoop IPC机制的描述,网上已有丰富的资料可供参考,比如:http://blog.csdn.net/zhanglizhe_cool/article/details/5712456,但大都围绕Hadoop中Server、Client的通信方式进行说明。这篇文章,以Hadoop IPC中对Java Proxy机制的使用作为主题,描述其基本工作原理和实现方法。Java Proxy...原创 2013-06-18 17:51:25 · 107 阅读 · 0 评论 -
Hadoop任务调度机制
Hadoop其实没那么复杂,对每个子功能进行细分,一一解读,就可化整为零。MapReduce调度过程——主要角色JobTrackerHadoop任务调度的主脑,整个集群中的唯一角色,负责任务的分配。侦听TaskTracker传来的心跳消息并从中获取TaskTracker状态,根据状态向TaskTracker发送任务控制指令。TaskTracker任务的实际执行者,一...原创 2013-06-17 18:44:56 · 445 阅读 · 0 评论 -
hadoop 2.x 的一些改进
apache hadoop 2.x 是在1.x版本上做了重大的改进。以下是一个关于HDFS和MapReduce的简短的改进概述。 HDFS Federation为了提升name service 的水平扩展性,federation使用多个独立的Namenodes/Namespaces。Namenodes独立运行且不需要与其他namenode协作运行。datanodes为所有name...原创 2013-05-12 20:42:41 · 106 阅读 · 0 评论 -
walter的hadoop学习笔记三 集群搭建
转载请注明出处[url]http://lt200819.iteye.com/admin/blogs/1473265[/url]IP配置如下: node1:192.168.0.101node2:192.168.0.102 node3:192.168.0.103这里有一点需要强调的就是,务必要确保每台机器的主机名和IP地址之间能正确解析。 一个很简单的测试办法就是pin...原创 2012-04-02 21:09:05 · 85 阅读 · 0 评论 -
walter的hadoop学习笔记二 安装部署
转载请注明出处http://lt200819.iteye.com/blog/1473179至于Hadoop是什么,能干什么之类的文章去hadoop官网去找吧,这里不累述。给个传送门http://hadoop.apache.org系统环境:linux版本:centos6.2jdk:OpenJDK 1.6.0_22下载hadoop在http://www.apac...2012-04-02 18:09:27 · 188 阅读 · 0 评论 -
walter的hadoop学习笔记一 概述
本系列学习笔记将记录笔者学习hadoop的详细情况,并转载一些特别好的文章,力争做最好的hadoop学习平台。原创 2012-04-02 17:51:16 · 123 阅读 · 0 评论 -
mac 系统下Unable to load realm info from SCDynamicStore
在mac系统下出现Unable to load realm info from SCDynamicStore解决方案:在hadoop-env.sh中加入export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"...原创 2013-04-03 20:45:11 · 93 阅读 · 0 评论 -
MapReduce求Top K的算法
今天去百度面试,这么简单的题做法都有问题,悲哀啊,mark一下。估计要和百度失之交臂了,悔恨。其实当时有想法了的,不过被面试官问了一句“放内存够大吗?”一下打消了这个想法。愁啊。算法如下。不知道对不对。回去再研究下 package com.bupt.mapreduce; /** * */ import org.apache.hadoop....原创 2013-03-20 14:52:01 · 142 阅读 · 0 评论 -
walter的hadoop学习笔记四 配置hadoop的eclipse开发环境
开发环境操作系统:ubuntu12.04 hadoop版本:hadoop-1.0.4.tar.gz Eclipse版本:最新的eclipse,源安装的,我也没注意是哪个版本。 Ubuntu 12.04环境中编译Hadoop-eclipse-plugin-1.0.4.jar包。1、在Eclipse中选择File-->Import-->Existing Proj...原创 2013-03-17 14:03:30 · 108 阅读 · 0 评论 -
Hadoop 解除 "Name node is in safe mode"
运行hadoop程序时,有时候会报以下错误: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 这个错误应该还满常见的吧(至少我运行的时候是这样的) 那我们来分析下这个错误,从字面上来理解: Name node is in safe m...原创 2013-03-16 20:16:55 · 161 阅读 · 0 评论 -
hadoop集群搭建各种问题
1.hadoop入门篇,包括软件下载及配置,并保证单机和伪分布模式可以运行通过,请看hadoop官网 2.集群搭建笔者在hadoop集群搭建中,走了很多弯路,希望大家莫犯同样的错误(a)ssh免密码登陆刚开始ssh localhost 都需要密码,后来在masters机器上,将.ssh目录权限设为500,authroized_keys设为600才好u...原创 2012-01-30 15:31:11 · 114 阅读 · 0 评论 -
Hadoop 解除 "Name node is in safe mode"
之前在hadoop执行过程中使用了"ctrl+c"操作再次使用hadoop时出现“Name node is in safe mode”提示:root@v-jiwan-ubuntu-0:~/hadoop/hadoop-0.20.2# bin/hadoop fs -put conf inputput: org.apache.hadoop.hdfs.server.namenode.SafeM...原创 2012-01-30 15:00:06 · 72 阅读 · 0 评论 -
Hadoop学习笔记二 安装部署
本文主要是以安装和使用hadoop-0.12.0为例,指出在部署Hadoop的时候容易遇到的问题以及如何解决。硬件环境共有3台机器,均使用的FC5系统,Java使用的是jdk1.6.0。IP配置如下:dbrg-1:202.197.18.72dbrg-2:202.197.18.73dbrg-3:202.197.18.74这里有一点需要强调的就是,务必要确保每台机器...原创 2011-09-20 20:23:26 · 55 阅读 · 0 评论 -
Hadoop YARN框架调研以及问题总结
Hadoop YARN框架调研以及问题总结1.YARN总体介绍 YARN的根本思想是将 JobTracker 两个主要的功能分离成单独的组件,分别是全局资源管理器(Resouce Manager ,RM)和每个应用独有的Application Master(AM)。RM管理所有应用程序计算资源的分配,每一个应用的 ApplicationMaster 负责相应的调度和协调。1.1...2013-10-15 15:04:52 · 139 阅读 · 0 评论