百度网盘的大数据应用案例

为什么80%的码农都做不了架构师？>>>   

百度提供了海量数据存储，个人几乎不用花费什么代价就可以获得数T的存储空间，个人使用绰绰有余。申请百度云空间可以通过这里进行，顷刻之间2T到手。

通过对百度云盘的使用，发现将自己硬盘中的许多资料上传到云端非常迅速，迅速到令人惊讶的地步。15T的资料文件夹（包含许多的音视频、PDF、压缩文件等），一个中午就传完了，而网络速度只不过10M，上传速度超过了网络的极限。

经过测试发现，所谓的“秒传”模式不过是大数据应用的案例而已，而这大数据其实也并不是挖掘其中有什么信息，而是将各类音视频文件摘要后存库而已。说来也是，各类的音视频资料，如果不是自己录制编制，其实大家都一样的，比如网上下载的各类mp3、电视剧、文档资料；如果我要上传或者备份的文件已经在库中存在相同的指纹摘要（估计应该有文件大小、MD5以及其他关键特征信息组合而成），则认为你要上传的文件就是这个文件，则在这个文件上附加一个引用到当前用户，这样在你看来，文件“急速秒传”到了云空间，下载下来看看，果不其然，“上传”完整。

为了验证上面的猜想，我上传了一个之前上传过的一个光盘映像，大小800+M，使用的方式是网页上的上传组件，一开始显示正在上传，上传速度500+K，这是我的网速合理的上传值。但十秒钟之后，显示上传完毕，这显示了上传的文件根本不是从我的电脑上同步过去的，而是从别的地方引用过来的——“别的地方”可能是我上传过的，也可能是别人上传过的，这是大数据应用的一种方式？

百度网盘提供离线下载功能，我们可以上传种子文件，种子文件对应的目标资源会自动下载到云空间中。这个功能真是好啊，不过结合上述猜想与验证可以知道，并不是我们上传了种子文件，百度盘就给你下载一遍，其实百度盘早就知道了你这个种子对应什么目标资源，因此下载速度也是“急速”了，几乎顷刻之间你的离线下载就完成了，现在只需要在线下载百度盘上的资源了。

所以不用傻了，好像我们从网上多多的下载高清数据塞到我们的网盘空间里好像占了百度多大的光，百度网盘只不过给你一个引用而已，对于百度盘来说，拥有大量用户上传的数据，除了保留后续分析用户行为爱好之类的信息之外，借花献佛满足了更多人的网络空间需要，因此毫才不吝惜的给你海量的存储空间，要知道，这个技术完成之前，百度网盘的空间销售策略可是很昂贵的，100G的网络空间要50元/月，或是500元/年，现在都白送了，有人会认为2T不够用，需要再花500块每年，增加5%的容量吗？快算了吧。百度云盘空间的更具体销售策略猛击这里。

转载于:https://my.oschina.net/smzd/blog/166995