chlaws的专栏

记录我技术之路成长的过程。

排序:
默认
按更新时间
按访问量

MapReduce源码分析之MapTask分析(二)

MapReduce源码分析之MapTask详解的后半段文章。在分析过程中我们知道了MapTask是如何使用循环缓存区管理数据,知道了数据在缓存不下是如何做spill处理的,spill输出的数据格式,combiner如何处理,如何将多一个文件merge为一个等等。也希望通过阅读这部分源码能学习到部分...

2014-08-04 22:21:17

阅读数:5436

评论数:3

MapReduce源码分析之MapTask分析

前言    MapReduce的源码分析是基于Hadoop1.2.1基础上进行的代码分析。    该章节会分析在MapTask端的详细处理流程以及MapOutputCollector是如何处理map之后的collect输出的数据。    map端的主要处理流程 图1 MapTask处理流程    ...

2014-07-13 20:55:13

阅读数:5416

评论数:1

scala 语法要点

前段时间看了下scala做了下笔记,为后续看spark做点准备,笔记内容见图片。

2014-05-31 22:54:30

阅读数:2565

评论数:1

MapReduce源码分析之架构分析1

前言     MapReduce的源码分析是基于Hadoop1.2.1基础上进行的代码分析。     本篇,将不会涉及代码部分的分析,只是简单分析map的整体架构,并介绍map与reduce的运行过程,主要是为后续的分析做一个铺垫。至于MapTask/ReduceTask的原理分析,JobTrac...

2014-04-14 22:24:54

阅读数:4149

评论数:1

MapReduce源码分析之InputSplit分析

前言 MapReduce的源码分析是基于Hadoop1.2.1基础上进行的代码分析。 什么是InputSplit        InputSplit是指分片,在MapReduce当中作业中,作为map task最小输入单位。分片是基于文件基础上出来的而来的概念,通俗的理解一个文件可以切分...

2014-04-03 23:15:55

阅读数:11703

评论数:2

迟到的2013年总结

前言       有近两个月没有写blog了,找个不算借口的借口吧,一直因为工作忙的缘故只剩上班和下班了。。特别是放假前加了一次到第二天两点,缓了几天感觉还是精气神仍旧有点没回过神来。。这可以说是工作以来加的最凶猛的一次,估计以后不太会有这样的场景了。       总的来说,在13年换了份工作...

2014-01-28 22:14:46

阅读数:2793

评论数:1

HBase -ROOT-和.META.表结构(region定位原理)

在HBase中,大部分的操作都是在RegionServer完成的,Client端想要插入,删除,查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer?就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServe...

2013-11-24 13:50:01

阅读数:13379

评论数:1

storm-0.8.2源码分析之nimbus运行过程(一)

nimbus运行过程          这部分将详细讲述启动后,nimbus是如何运行的。在之前讲述nimbus启动过程,有提到nimbus.clj中有个通过defserverfn定义的核心函数service-handler,是实现了Thrift的service Nimbus代码生成的Nimbu...

2013-10-30 22:38:12

阅读数:4390

评论数:0

redis-2.6.16源码分析之pub-sub系统

redis实现的发送订阅系统,即pub-sub,这部分的的代码比较少,也方便分析。在这只将会分析下普通的pub-sub(会忽略掉Pattern-matching subscriptions),以此来简述一个pubsub系统是如何实现的。  在redis主要有介绍redis的pub-sub,在开始...

2013-09-02 22:26:57

阅读数:3409

评论数:0

storm-0.8.2源码分析之topology启动

topology启动          一个topology的启动包括了三个步骤          1)创建TopologyBuilder,设置输入源,输出源          2)获取config          3)提交topology(这里不考虑LocalCluster本地模式) ...

2013-08-29 22:44:31

阅读数:7022

评论数:0

storm-0.8.2源码分析之nimbus启动

nimbus启动 脚本启动逻辑          通过bin/stormnimbus会启动nimbus进程,类似hadoop的jobtracker。 bin/storm是一个python写的脚本,支持jar,kill,nimbus,supervisor,ui,drpc等等命令。 pytho...

2013-08-29 22:41:40

阅读数:6079

评论数:0

简述thrift与应用分析

前言     本篇将以thrift-0.9.0为背景讲述thrift的基础,使用案例,启发。 概述   thrift是一个软件框架,用来进行可扩展且跨语言的服务的开发。它结合了功能强大的软件堆栈和代码生成引擎,以构建在 C++, Java, Python, PHP, Ruby, Erlang, P...

2013-07-14 21:06:40

阅读数:8389

评论数:0

多线程删除注册的事件

1.多线程删除注册的事件,因为事件响应总是会调用回调的,因此,在这通过注册和删除回调函数来阐述 2.由于多线程环境去处理,那么需要注意事件增删的接口,会在任何地方调用,因此,需要处理好,即保证无递归产生死锁也要保证互斥性 3.代码是伪代码,处理流程参考了libevent,libevent对于e...

2013-06-02 22:53:48

阅读数:2709

评论数:0

unp总结

第二章 tcp从连接到关闭的状态变化图 TIME_WAIT状态  1)可靠实现TCP全双工连接的终止;TCP执行主动关闭,并发送最后一个ACK,该连接必须在TIME_WAIT状态停留2MSL,如果另一端超时并重发最后的FIN,这样可以让TCP再次发送最后的ACK以防止这个ACK丢失 2)允...

2013-06-02 13:49:06

阅读数:3613

评论数:0

storm几个必知的概念

Concepts This page lists the main concepts of Storm and links to resources where you can find more information. The concepts discussed a...

2013-05-22 00:23:20

阅读数:2432

评论数:0

shell解析ini文件

做个shell解析ini文件,用作搭建HA框架中的解析ini配置文件 测试的ini文件是系统里面搜到的一个 # Example driver definitions # Driver from the postgresql-odbc package # Setup from the unix...

2013-04-14 14:09:44

阅读数:7259

评论数:0

再见了,我的第一份工作

走过那些年         那时还是懵懂的年纪,带着学生气带着对工作的渴望与激情,对于去做linux c/c++的开发充满了期待,在10年11月入职。 而现在转眼两年多过去了,即将离开工作两年半的地方,也即将去面对新的工作,我觉得有必要好好记录下,等待多年后再回头看现在的抉择是否正确。    ...

2013-03-10 22:44:20

阅读数:4039

评论数:0

通过修改源码来更改nginx的日期格式

前言     群里有朋友想切换nginx 0.7的版本到1.2+的版本,在0.7的版本中他们改了源码,使得访问日志输出的时间格式从[08/Mar/2013:09:30:58 +0800]变成了2013-03-08 12:21:03。说是在修改1.2+版本的时候格式就变乱了,格式一直不对,刚好有人...

2013-03-08 13:12:59

阅读数:6562

评论数:1

两个apache第三方模块冲突

冲突情景     有两个模块分别是mod_city和mod_pfadurl,两者编译成so,如果在http.conf中使用loadmodule 都单独挂到apache中,那么不论是挂哪个到apache中都是可以正常运行,但是如果两者一起挂进apache中则就出现进程fork之后就down掉。 ...

2013-03-05 21:20:25

阅读数:2751

评论数:0

linux下zeromq write函数变更

文件tcp_socket.cpp中write函数发生变更,可以去github上看master版本的src/tcp_socket.cpp 点这里前往github 说下影响,在之前2.2.0版本,其实write函数是这样的 int zmq::tcp_socket_t::write (const...

2013-02-04 17:11:08

阅读数:2439

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭