分布式计算与机器学习

也算探索了几个月吧,在给自己定位。


定位是,分布式系统,机器学习,自然语言处理,计算广告,推荐。


这里的分布式不是指基础计算平台,比如分布式存储之类的,而是指分布式计算。


公司不像实验室可以给你一个高性能的巨型计算机,一个T的内存,几十个高性能CPU,在这个环境下,只需要像普通pc编写程序即可。

公司有的是几千台普通电脑,用些电脑实现分布式计算。而这里的分布式有两种形式,一种是hadoop类似的,但是这种方式比较简单,无法实现复杂的算法,具体的说,就是每个计算任务最好都没有交互。另外一种就是基于mpi,实现复杂,但是适合复杂模型的训练。


对于互联网公司最赚钱的就是广告点击率预测,是一个逻辑斯特模型。


在公司中,一般是用hadoop处理数据,比如特征抽取,mpi实现模型训练


  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值