- 博客(7)
- 资源 (15)
- 收藏
- 关注
原创 _00008 Hadoop TaskTracker源码浅析
这里是一张客户端的流程图(手贱乱画的)1 负责向JobTracker定期的发送心跳消息。消息中有说明是否要申请新的任务,并接收Job下达的任务。2 如果jobTracker下达了task任务要执行,则执行该任务。# 先看看类的注释跟类结构* TaskTracker is a process that starts and tracks MR Tasks * in a
2014-03-06 23:33:49 1036
原创 _00007 Hadoop JobTracker源码浅析
# JobTracker是hadoop的mapreduce框架中最重要的一个类,这个类负责整个集群的作业控制和资源管理。# JobTracker的启动是在用户启动hadoop集群时启动的,启动JobTracker是通过调用JobTracker的main()方法启动。接下来看看源码* Start the JobTracker process. This is used only for de
2014-03-06 23:11:05 1164
原创 _00006 Hadoop FileSystem源码浅析(如何与NameNode通信)
# FileSystem的create方法(主要是围绕下面这张原理图说的)public FSDataOutputStream create(Pathf)throws IOException { return create(f,true); }# 进入create(f, true);public FSDataOutputStreamcreate(P
2014-03-05 22:56:34 951
原创 _00005 Hadoop DataNode源码浅析(RPC是基础)
接着会实例化datanode和开始一个datanode守护进程(runDatanodeDaemon(dn)),然后会调用datanode的join方法,进入到run方法,这个方法将刚刚startDataNode方法中的RPC服务端开启,然后调用了一个offerService方法,里面是一个死循环,最先开始是datanode RPC远程调用namenode.sendHeartbeat方法,这里的namenode在上面已经解释过了,其实就是DataNode,这里会调用DataNode的sendHeartbeat
2014-03-05 22:49:10 1739
原创 _00004 Hadoop NameNode源码浅析(RPC是基础)
# NameNode源码分析(RPC是基础)# 知道了RPC原理才能更好的理解NameNode# 进入NameNode的源代码找到main方法(由于NameNode是一个RPC的服务端,所以我们进入RPC的main方法,为了证明NameNode是一个RPC的服务端)public static void main(String argv[]) throws Exception {
2014-03-04 23:50:06 2181
原创 _00003 Hadoop MapReduce体系结构
# MapReduce的介绍# MapReduce是Hadoop的分布式计算框架,由两个阶段组成,分别是map和reduce阶段,对于程序员而言,使用过程非常简单,只要覆盖map阶段中的map方法和reduce节点的reduce方法即可# map和reduce阶段的形参的键值对的形式# mapreduce的执行流程瓶颈:磁盘IO# mapreduce执行原理1.1
2014-03-04 23:12:10 1151
原创 _00002 Hadoop HDFS体系结构及shell、java操作方式
# hadoop是适合大数据的分布式存储和计算的平台# hadoop核心组成由hdfs和mapreduce组成# hdfs是主从式结构,主节点只有一个,是namenode:从节点有很多个# 分布式文件系统与HDFS (HDFS体系结构与基本概念)# Distributed File System# 数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理
2014-03-04 23:07:39 1356
Flink Forward Asia 2019 PPT.zip
2019-12-03
ApacheCN - Elastic Kibana 5.2 中文文档 - v0.1.0.pdf
2017-04-17
妳那伊抹微笑_云计算之Hadoop-2.2.0+Hbaase-0.96.2 +Hive-0.13.1完全分布式环境整合安装文档V1.0.0.docx
2014-08-18
妳那伊抹微笑_云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0.docx
2014-07-24
妳那伊抹微笑_Kafka之自定义Encoder实现Class级别的数据传送以及解析的Eclipse工程_201407181.rar
2014-07-18
妳那伊抹微笑_Flume+Kafka+Storm分布式环境整合Eclipse工程_20140714.rar
2014-07-14
妳那伊抹微笑_云计算之Hadoop完美笔记2.0
2014-04-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人