njufighter-CSDN博客

原创 Shuffle和排序

shuffle和排序MapReduce确保每个Reducer的输入都按照键排序。系统执行排序的过程--将map输出作为输入传给reducer--称为shuffle。Map端每个Map任务都有一个Ring Buffer，用于存储任务的输出。一旦Buffer内容达到阈值，一个后台线程便开始把内容写到磁盘中（按轮询方式写到指定子目录下）。在写磁盘过程中，map输出继续被写到缓冲区，但如果在此

2013-06-04 22:53:27 619

原创 MapReduce的工作机制

MapReduce的工作机制（1） Job的提交：jobClient的RunJob可以新建JobClient实例，并调用SubmitJob()。SubmitJob()实现的作业提交过程：a. 向jobtracker请求一个新的JobIDb. 检查Job的输出说明c. 计算Job的输入分片d. 将

2013-06-04 00:04:19 603

转载 Ant编译eclipse hadoop plugin插件

网上讲的用Ant编译eclipse hadoop plugin插件，都讲的很复杂，对于我这样的菜鸟哪里经得起这么多折腾，本人经过实践，写出我的编译经验首先请预先安装ant并设置环境变量，下载hadoop-1.1.2.tar.gz源码解压修改${hadoop.root}/src/contrib目录的build-contrib.xml文件，添加eclipse路径和hadoop版本信息p

2013-05-31 21:56:59 577

转载 LK光流算法

简介：在计算机视觉中，Lucas–Kanade光流算法是一种两帧差分的光流估计算法。它由Bruce D. Lucas 和 Takeo Kanade提出。光流的概念:(Optical flow or optic flow)它是一种运动模式，这种运动模式指的是一个物体、表面、边缘在一个视角下由一个观察者（比如眼睛、摄像头等）和背景之间形成的明显移动。光流技术，如运动检测和图像分割，时间碰撞

2013-05-23 21:00:51 5302

转载 h.264 SODB RBSP EBSP的区别

SODB　数据比特串－－＞最原始的编码数据RBSP　原始字节序列载荷－－＞在SODB的后面填加了结尾比特（RBSP trailing bits　一个bit“1”）若干比特“0”,以便字节对齐。EBSP　扩展字节序列载荷-->在RBSP基础上填加了仿校验字节（0X03）它的原因是：　在NALU加到Annexb上时，需要填加每组NALU之前的开始码StartCodePrefix,如果该NALU

2012-10-13 18:00:07 413

原创 Linux 网络初始化流程

Linux 网络初始化流程1. 系统初始化（1） X86 PC初始化过程1） CPU自身初始化2） BIOS加电自检POST完成系统硬件的检测，包括内存检测、系统总线检测等3） BIOS加载内核主引导程序MBR中的主引导程序包括446字节的程序代码和64字节的分区表，最后两个字节为0xAA554）内核主引导程

2012-10-03 18:29:59 1597

原创 H.264相关二

一.H.264基本档次支持包含I条带和P条带的编码序列。I条带包含帧内编码的宏块，其帧内编码宏块是从同一个条带中先前编码的样点进行预测。P条带可以包含帧内编码、帧间编码和跳转的宏块。当在比特流中指示一个跳转宏块时，后面的比特流中没有关于这个宏块的任何数据。解码器计算跳转宏块的运动矢量，根据List0的第一帧参考图像对该宏块进行运动补偿预测来重构该宏块。解码图像缓存器（DPB

2012-10-03 15:06:56 788

原创 H.264 相关

一.术语1.编码的图像：一场（交替的视频）或一帧（逐行或交替的视频）视频编码产生的内容.由一组宏块组成，每个宏块由16x16的亮度块和相应的8x8色度块组成。在每个图像内，按条带来组织宏块，一个I条带仅包含I宏块类型，一个P条带包含P和I宏块类型，B条带包含B和I宏块类型2.帧号：与解码次序无关2.图片次序的计数：用于确定场的解码次序3.参考图像：用于编码图像的帧间预测的以前编码的

2012-09-29 23:56:32 535

原创 WDF_IO_QUEUE_CONFIG解析

该结构体为框架队列对象的Config信息。具体如下所示：typedef struct _WDF_IO_QUEUE_CONFIG { ULONG Size; WDF_IO_QUEUE_DISPATCH_TYPE DispatchType; WDF_TRI_STATE PowerManaged; BOOLEAN AllowZeroLengthRequests; BOOLEAN

2012-02-08 23:03:29 2792