- 博客(12)
- 资源 (14)
- 收藏
- 关注
RSS订阅转载 JobTracker在集群规模扩大后可扩展性瓶颈~
<br /><br />当hadoop集群规模很小的时候，比如100台，200台，300台的时候，可能 一切看上去都很好，jobtracker分配task到计算槽位非常高效，集群的槽位资源在计算多的时候基本能够打满，所以集群的利用率非常高，一切看上 去都运转良好。在这种情况下，当计算越来越多，提交作业的人越来越多，集群的计算槽位逐渐无法满足需求的时候，大多数人第一个想到的解决办法就是：加机 器。的确，hadoop设计上的优秀和可扩展性可以方便的让集群管理员对集群增删机器，所以当集群计算资源紧缺，又有空闲的机
2011-04-24 14:42:00
3969
2
转载 python 编码转换
<br />====== python 编码转换 ====== <br /><br />主要介绍了python的编码机制，unicode, utf-8, utf-16, GBK, GB2312,ISO-8859-1 等编码之间的转换。 <br /><br />**常见的编码转换分为以下几种情况：** <br /><br />===== unicode 转换为其它编码(GBK, GB2312等) ===== <br /><br />例如：a为unicode编码 要转为gb2312。a.encode('gb23
2011-04-20 10:31:00
2550
转载 C++类模板的三种特化类型
C++类模板的三种特化<br />By SmartPtr(http://www.cppblog.com/SmartPtr/)<br /><br /><br />说起C++的模板及模板特化， 相信很多人都很熟悉 ，但是说到模板特化的几种类型，相信了解的人就不是很多。我这里归纳了针对一个模板参数的类模板特化的几种类型， 一是特化为绝对类型； 二是特化为引用，指针类型；三是特化为另外一个类模板。<br />这里用一个简单的例子来说明这三种情况：// general version<br />template<cl
2011-04-17 14:20:00
2367
转载 socket与RPC
<br /> RPC(Remote Procedure Call，远程过程调用)是建立在Socket之上的,出于一种类比的愿望,在一台机器上运行的主程序,可以调用另一台机器上准备好的子程序,就像LPC(本地过程调用).<br />越底层，代码越复杂、灵活性越高、效率越高；越上层，抽象封装的越好、代码越简单、效率越差。Socket和RPC的区别再次说明了这点。<br />——————下面转自：http://johnyan.hostzi.com/phpbb3/viewtopic.php?t=1305——————
2011-04-16 22:16:00
4229
转载 常见nosql数据库介绍
<br />随着互联网web2.0网站的兴起，非关系型的数据库现在成了一个极其热门的新领域， 非关系数据库产品的发展非常迅速。而传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不 从心，暴露了很多难以克服的问题，例如：<br /><br />1、High performance – 对数据库高并发读写的需求 <br />web2.0网站要根据用户个性化信息来实时生成动态页面和提供动态信息，所以基本上无法使用动态页面静态化技术，因此数据库并发负载非常
2011-04-14 12:40:00
2529
转载 HBase中的Client如何路由到正确的RegionServer
HBase中的Client如何路由到正确的RegionServerPosted onJuly 27, 2010byHarry_Ding<br />在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么它是如何找到相应的RegionServe
2011-04-13 17:15:00
2377
转载 hadoop运行痕迹~~
<br />Hadoop 学习总结之一：HDFS简介<br />Hadoop学习总结之二：HDFS读写过程解析<br />Hadoop学习总结之三：Map-Reduce入门<br />Hadoop学习总结之四：Map-Reduce的过程解析<br /> <br />在使用hadoop的时候，可能遇到各种各样的问题，然而由于hadoop的运行机制比较复杂，因而出现了问题的时候比较难于发现问题。<br />本文欲通过某种方式跟踪Hadoop的运行痕迹，方便出现问题的时候可以通过这些痕迹来解决问题。一、环境的搭建
2011-04-12 16:30:00
1616
1
转载 linux c++动态链接库so编写
<br />Linux下的动态链接库是.so文件，即：Shared Object，下面是一个简单的例子说明如何写.so以及程序如何动态载入.so中的函数和对象。<br />testso.h:#ifndef _TESTSO_H#define _TESTSO_Hextern "C" { int myadd(int a, int b); typedef int myadd_t(int, int); // myadd function type}#endif // _TESTSO
2011-04-11 17:07:00
11963
1
转载 有用的性能数据，请记住它吧~~
<br /><br />转载自：http://surana.wordpress.com/2009/01/01/numbers-everyone-should-know/L1 cache reference 0.5 nsBranch mispredict 5 nsL2 cache reference 7 nsMutex lock/unlock 100 nsMain memory reference 100 nsCompress 1K bytes with Zippy 10,000 nsSend 2K byte
2011-04-10 15:07:00
1554
转载 linux定时器setitimer
<br />setitimer()为Linux的API，并非C语言的Standard Library，setitimer()有两个功能，一是指定一段时间后，才执行某个function，二是每间格一段时间就执行某个function，以下程序demo如何使用setitimer()。 <br /> <br />view plaincopy to clipboardprint?<br />01./* <br />02. <br />03. <br />04. <br />05.Filename : time
2011-04-08 10:21:00
750
转载 ulimit 参数
<br />表 1. ulimit 参数说明选项 [options]含义例子-H 设置硬资源限制，一旦设置不能增加。ulimit – Hs 64；限制硬资源，线程栈大小为 64K。-S 设置软资源限制，设置后可以增加，但是不能超过硬资源设置。ulimit – Sn 32；限制软资源，32 个文件描述符。-a 显示当前所有的 limit 信息。ulimit – a；显示当前所有的 limit 信息。-c 最大的 core 文件的大小， 以 blocks 为单位。ulimit – c unlimited； 对生
2011-04-02 16:08:00
692
转载 C++ dlopen mini HOWTO
C++ dlopen mini HOWTO<br />作者：Aaron Isotton <aaron@isotton.com> 2006-03-16<br />译者：Lolita@linuxsir.org 2006-08-05<br />------------------------------------------------<br />摘要<br /> 如何使用dlopen API动态地加载C++函数和类<br />-----------------------------------------
2011-04-01 19:48:00
613
大内高手(详细的内存知识)
2008-09-10
The.Linux.Networking.Architecture_Design.and.Implementation
2007-08-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人