- 博客(15)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Hadoop The Definitive Guide 2nd Edition 读书笔记5
之前我们学习了MapReduce的执行过程，下面我们看一下MapReduce执行过程中输入和输出所涉及到的数据结构。[b]输入格式：[/b]通过之前的学习，我们知道在执行mapreduce之前，原始数据被分割成若干split，每个split作为一个map任务的输入，在map执行过程中split会被分解成一个个记录（key-value对），map会依次处理每一个记录。spli...
2010-12-17 14:30:37
156
原创 Hadoop The Definitive Guide 2nd Edition 读书笔记4
MapReduce工作流程：[b]job提交流程：[/b][img]http://dl.iteye.com/upload/attachment/366883/b2e3cd06-379d-32a6-ae94-1b5256509ad8.png[/img]1.client节点在提交job之前，先要求JobTracker分配一个新的job id；2.检查输出路径是否已经存在，如...
2010-12-15 14:05:32
159
原创 Boost学习3-事件处理
事件处理是指一个事件的发生引发了一系列的相关活动，这些活动可以动态的添加和删除。比如我们点一个按钮，可以触发很多的操作，我们可以注册一些活动给这个事件，也可以注销一些活动。观察者模式是解决事件处理一个很给力的机制，我们将要触发的活动作为Observer注册给事件，当事件发生的时候所有Observer会收到消息进行不同的操作。利用Boost::Signal库可以方便的实现观察者模式。boos...
2010-12-13 21:58:49
206
原创 Boost学习2-函数对象
所谓的函数对象是指那些可以被传入到其他函数或者从其他函数返回的那一类函数。[b]boost::bind:[/b]在C++标准库中有两个绑定器：std::bind1st和std::bind2nd，他们可以指定给定函数对象的参数。看下面的例子：[code="java"]#include #include #include #include class add...
2010-12-10 19:52:15
141
原创 Hadoop The Definitive Guide 2nd Edition 读书笔记3
第四章是介绍Hadoop的IO系统，前面介绍的是数据完整性的方案，无外乎就是校验和等机制，接着介绍的是hadoop中的压缩机制，这两块内容后续仔细阅读。[b]串行化：[/b]Hadoop的进程间通信和持久化保存的时候都要用到串行化的技术。首先看一下Hadoop的进程间通信的机制。Hadoop中进程间通信时通过自己的一套RPC机制来实现的，节点间的通信格式由protocal来决定。...
2010-12-04 20:11:39
166
原创 Boost学习1-智能指针
智能指针的原理是基于RAII：申请资源即初始化。一个动态分配的对象由智能指针管理，在任何情况下动态分配的内存都能得到正确释放，从而将开发人员从这项任务中解放了出来。[b]作用域指针：[/b]boost::scoped_ptr，一个作用域指针独占一个动态分配的对象，不能将一个作用域指针所包含的对象传递给另一个作用域指针。一经初始化，智能指针 boost::scoped_ptr...
2010-12-04 11:53:52
201
原创 Hadoop The Definitive Guide 2nd Edition 读书笔记2
第三章介绍的是Hadoop的分布式文件系统HDFS相关的内容。主要介绍HDFS组成部分和操作接口。[b]HDFS的架构：[/b]HDFS采用成熟的Master/Slaves架构，其中Master称为Namenode，Slave称为Datanode。Namenode存储文件系统的元数据信息，它维护者整个文件的系统的目录树和所有文件的文件和索引目录，他们以命名空间镜像（fsimage）...
2010-12-03 21:01:31
140
原创 ubuntu下Boost库安装
最近在研究hadoop和云计算，但是hadoop是java写的，在hadoop上编写程序也要用java，所以最近可能会经常使用java。为了防止忘记C++，今天决定开始研究一下boost库。先把boost装到ubuntu吧。下载boost_1_43_0.tar.gz到/home/dtz/下，解压 tar zxvf boost_1_43_0.tar.gzcd boost_1_43...
2010-12-03 17:04:33
269
原创 Hadoop The Definitive Guide 2nd Edition 读书笔记1
Hadoop The Definitive Guide 2nd Edition是我读的关于hadoop的第一本书，对于处于新手阶段的我，这本书对我的帮助很大，这本书从hadoop的起源开始逐步讲解hadoop，可能是因为作者也是hadoop项目中的一个成员吧，对于hadoop讲解的十分到位。好记性不如烂笔头，今天开始做些笔记，方便日后查看。第一章主要介绍了Hadoop的起源和一些其他分布式...
2010-12-02 13:34:05
200
原创 MapReduce执行过程
在研究hadoop之前，有必要将hadoop两个核心技术HDFS和MapReduce了解一下，做好的资料当然就是google的两篇论文了。现将Hadoop中MapReduce的执行流程总结如下：用户提交的称为Job，每个Job会被切分成很多数据集，每个数据集作为Map的输入，称为一个task。InputFormat将输入的数据集切割成小数据集 InputSplits, 每一个 In...
2010-11-19 13:21:19
131
原创 ubuntu9.04+hadoop0.20.2+eclipse环境搭建
看hadoop也有一段时间了，今天花了一些时间把整个开发环境搭起来了，期间遇到了不小的麻烦，经过查阅大量资料，终于搞定了！由于我的电脑配置不好，所以在实验室ubuntu服务器上搭建了单机的环境，然后再我的电脑用eclipse上传编写好的程序。[b]1.安装JDK6[/b]这个不用多说，下一个bin文件，修改一下权限，配置一下环境变量就可以了。[b]2. 配置SSH[...
2010-11-18 20:47:28
119
转载 收集一些网上的资料
收集一些网上的资料，以便参考：http://blog.chinaunix.net/u2/69143/showart_1087349.html 当服务器close一个连接时，若client端接着发数据。根据TCP协议的规定，会收到一个RST响应，client再往这个服务器发送数据时，系统会发出一个SIGPIPE信号给进程，告诉进程这个连接已经断开了，不要再写了。
2009-06-10 21:56:00
431
原创 关于Metaclass得理解
今天看《Applying UML and Pattens》的时候看到metaclass这个词，是在描述调用静态函数的时候，记得以前就看到过这个关键字，但是并没有深入研究，今天google了一个多小时，小有心得，总结如下： 在很多语言中，会为每个类生成另一个类，这个生成类用来描述你所声明的类，称为metaclass，而声明的那个类其实是metaclass的一个实例。什么意思？下面是我看
2009-05-07 16:27:00
1593
原创 C++中的成员指针（pointer-to-member）
今天在看《STL源码剖析》的函数适配器那一章节的时候，看到出现这种语法(p->*f)(),以前从来没注意到->*的用法，于是查了一些资料。C++中->*运算符主要是结合成员指针(pointer-to-member)进行使用，所谓的成员指针是指向类成员变量或者成员函数的指针。注意这里说类，并没有说对象。这是是因为实际上它仅仅是一个偏移量，并与任何对象都没有关系。指向成员指针的例子如下：#
2009-04-23 17:33:00
810
原创 C/C++宏定义中的＃
在C／C＋＋中，宏定义是由define完成的，define中有三个特殊的符号值得我们注意：1. ＃:在宏展开的时候会将#后面的参数替换成字符串，如： ＃define p(exp) printf(#exp); 调用p(asdfsadf)的时候会将#exp换成"asdfsadf"2. ##:将前后两个的单词拼接在一起。例如《The C Programming Language》
2009-04-19 23:05:00
608
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人