- 博客(3)
- 资源 (1)
- 收藏
- 关注
原创 那些年,我做的那些云计算
混迹IT江湖这许多年,做了不少分布计算、并行计算、大数据处理的项目,按照现在的归类,这些都属于云计算范畴。今天我说说做过的其中三个项目,只三个。第一个是我们接到的视频分享网站的视频转码的订单,网站名字就不说了,有替人宣传嫌疑。他们情况是这样,视频网站的内容用MP4格式在网页上播放,但是上传的格式多种多样,我们必须把这些视频统一转换成MP4格式,视频转码的工作想必大家都在自己的电脑上试过,通
2012-07-18 21:35:30 1000
原创 Hadoop和Lexst的存储策略
Hadoop依靠HBase实现存储,HBase采用列存储方案(典型NoSQL),加上LSM(Log Structured Merge-Tree)对数据紧缩,使得数据存储效率不错,很适合大数据环境下的读操作,但是如果做删除数据,由于列存储和LSM固有的特点,这时的处理效率不高。图1 HBase列存储,NoSQL环境的主流存储方案,高效读是最大优点。Lexst主要面
2012-07-23 08:33:44 516
原创 diffuse/aggregate分布算法
diffuse/aggregate是一个分布式数据计算算法,它的出现比Lexst早很多年。初期是做为一个独立的应用模块,用于关系数据库系统的分布计算环境(SQL SERVER、MYSQL、DB2都使用过),其间经历多次演进,发展到现在,已经是一个成熟的分布计算模型。使用diffuse/aggregate需要一个前提:数据必须是可以分解和合并的。diffuse在其中负责拆解、获取、分发数据,aggr
2012-07-21 20:56:36 463
换一个角度思考-并行计算
2012-07-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人