hadoop与cuda的几点思考

分布式计算的hadoop与cuda的几点思考

最近学习分布式计算,突然想到一个问题,hadoop 和cdua有什么关系。为什么有的问题要并行计算,交给GPU处理,而现在GPU编程的主体是cuda并行计算,有的交给分布式hadoop处理?

学习后,受到点启发, 觉得应该是这样的:

首先有两种情况:数据密集型、计算密集型
1.数据密集型:数量大,但是对每一条数据的处理并不一定麻烦,比如,对1T的文件统计字数,可以交给10台机器分别统计。

2.计算密集型:数量并不一定大,但是对每条数据的计算量非常大,比如对图像训练的深度神经网络。
 实现基于机器学习的自动的智能化数据价值挖掘是大数据和Hadoop最诱人的愿景了,也就是将数据密集型和计算密集型工作都集成到hadoop自身,这也是很多企业对大数据平台的最终期望。随着可获得的数据越来越多,未来大数据平台的价值更多的取决于其计算人工智能的程度。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值