听讲座～百度和豆瓣架构师分享Web开发的艺术

今天去听infoQ的百度和豆瓣架构师分享Web开发的艺术

 

 

豆瓣的哥们不错。

 

其中说：mogilfFS不适合做??， 是他们开发BeansDB的动力。

他们也用了mfs存储日志，他说mfs可以和hadoop一起???

其实个人觉得它们对beansDB的需求（做小文件存储，总共12T左右，metaData??个）完全可以用mfs满足.

我问了一下这位哥哥，他说mfs的mds可能承受不了压力，还有当文件数量大了，可能mds放不下

 

但是我看他们的BeansDB所承受的压力大约是90hit/s,mfs的mds是可以承受的。

 

mfs master:

   The master server should have approximately 300 MiB of RAM allocated to handle 1 million files on chunkservers.

这么说:3G可以10 M文件

内存用16G，大概可以搞4千万个文件

 

 

BeansDB的一个好处是不需要中心服务器，只有client和chunkserver，蛮有意思的，client通过一个算法，从文件名，映射到所在的服务器（采用类似memcached的去中心化结构，在客户端实现数据路由 ），有冗余

使用memcache协议存取。

 

这哥们建议不要搞多机房，而是搞一个环境比较好的机房，因为维护简单。不需要同步。--确实