近期接触到的开源工具总结

1.     hadoop 虽然分布式的概念早就有了,但一直直到hadoop的出现,才广泛应用开来,hadoop将单个PC作为计算单元,然后将每台计算出来的结果进行合并,也就是用map reduce的原理来进行复杂和耗时的计算,在YARN出现后,hadoop较好解决了JobTracker的单点故障的漏洞,也是用的分布式管理法则。随着大量企业对越来越看重其所收集的数据,hadoop有更广泛的应用。在与SPARK结合后,更加强大。

2.    NOsql, 由于网民的迅速增加,各大网站的负载也大了许多,就需要分布式的文件系统,数据库系统来将原来传统的关系数据库的负载来分担到多台机器中。NOsql能快速反应,但对业务规则的约束的减少可能会引起数据组织的混乱,所以发现大部分网站仅仅将其做为文件储存如FASTDFS,并不用其来承载业务数据。

3. 待补充


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值