weixin_62403234的博客

app把这些数据收集起来，发送到Google云端，然后Google在自己的集群上来训练模型，Google有足够的计算资源，这样不就解决了吗？之前的时候学习过并行算法或者是分布式算，其中有一种编程模型，Parameter Server，我们可以用这种模型训练神经网络， 计算几乎都是Worker做的，Server端存储模型参数或者更新模型参数。每家医院都有自己的数据，可以用来训练自己的模型将实现预测等，但是每家的数据都不多，训练的效果也不好。最简单的方法就是将数据整合起来，在服务器上将模型进行训练。

Parameter Server这种编程模型可以实现异步并行梯度下降，架构采用的是Client-Server，通信方式是Message-passing，同步方式是异步的（Asynchronous）。Ray是一个开源软件系统，支持Parameter Server。同步算法：算法加速比会很低，时间会大量浪费在等待上。异步算法： Worker不会空转，整个系统效率会很高。异步算法可以这样进行实现：在worker上利用本地数据计算梯度，然后将计算好的梯度发送给server，并接受更新后的梯度。

深度学习、强化学习和深度强化学习是机器学习的三个重要子领域。它们有着各自独特的应用场景和研究目标，虽然都属于机器学习的范畴，但各自的实现方式和侧重点有所不同。

【深度学习】四大分类网络之AlexNet

为什么我们在机器学习中需要用到并行计算呢，因为现在最流行的机器学习算法都是神经网络，神经网络模型的计算量、参数量都很大，比如ResNet-50参数量为25M。而我们在训练的时候使用的数据集也很大，比如ImageNet数据集含有14M张图片。

机器学习框架是支持开发、训练、和部署机器学习模型的工具集和库，以下是一些主流的机器学习框架及其特点：

【机器学习】吴恩达课程2-单变量线性回归

【机器学习】吴恩达课程1-Introduction