自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(3)
  • 资源 (1)
  • 收藏
  • 关注

原创 那些年,我做的那些云计算

混迹IT江湖这许多年,做了不少分布计算、并行计算、大数据处理的项目,按照现在的归类,这些都属于云计算范畴。今天我说说做过的其中三个项目,只三个。第一个是我们接到的视频分享网站的视频转码的订单,网站名字就不说了,有替人宣传嫌疑。他们情况是这样,视频网站的内容用MP4格式在网页上播放,但是上传的格式多种多样,我们必须把这些视频统一转换成MP4格式,视频转码的工作想必大家都在自己的电脑上试过,通

2012-07-18 21:35:30 1000

原创 Hadoop和Lexst的存储策略

Hadoop依靠HBase实现存储,HBase采用列存储方案(典型NoSQL),加上LSM(Log Structured Merge-Tree)对数据紧缩,使得数据存储效率不错,很适合大数据环境下的读操作,但是如果做删除数据,由于列存储和LSM固有的特点,这时的处理效率不高。图1 HBase列存储,NoSQL环境的主流存储方案,高效读是最大优点。Lexst主要面

2012-07-23 08:33:44 516

原创 diffuse/aggregate分布算法

diffuse/aggregate是一个分布式数据计算算法,它的出现比Lexst早很多年。初期是做为一个独立的应用模块,用于关系数据库系统的分布计算环境(SQL SERVER、MYSQL、DB2都使用过),其间经历多次演进,发展到现在,已经是一个成熟的分布计算模型。使用diffuse/aggregate需要一个前提:数据必须是可以分解和合并的。diffuse在其中负责拆解、获取、分发数据,aggr

2012-07-21 20:56:36 463

换一个角度思考-并行计算

工作中,我们总是希望我们自己工作得更有效率,用更少的时间解决更多的问题。在计算机里,这就是并行计算的基本初衷。全世界第一台计算机ENIAC中就已经出现了并行计算的概念。它有20个累加器,可以并发执行多个加减运算,可谓开并行计算的先河。在随后的上世纪五六十年代,由于晶体管和集成电器的发明,出现了了更多更快的计算机。IBM是这一时期的主角,同期计算机编程语言的出现,由软件完成处理并行计算的思想进一步深化。但这一时期的计算还是大型机时代,没有几个平民能用得起这些昂贵的大家伙。计算机和软件技术还锁在研究院和大学校园里。

2012-07-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除