![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式机器学习
文章平均质量分 83
Leiii_
这个作者很懒,什么都没留下…
展开
-
分布式机器学习笔记4
@分布式机器学习笔记 分布式机器学习算法、理论与实践 学习笔记 5 单机优化之随机算法 由于数据规模增大,优化问题复杂度提高,确定性优化算法逐渐出现瓶颈→对样本进行随机采样获得对更新量的有效估计 收敛性评价:对算法中的随机采样取期望 基本随机优化算法 1)随机梯度下降法 思想:对训练数据进行随机采样,使用该样本损失函数代替所有样本损失函数平均 特点: ① 相当于使用有放回的随机采样来计算梯度,总体上用所有数据来计算梯度的无偏估计 ② 每次只用计算一个样本的梯度,计算量大大降低 ③ 对于不同性质的目标函数原创 2021-03-02 16:10:15 · 221 阅读 · 0 评论 -
分布式机器学习笔记3
@分布式机器学习笔记 分布式机器学习算法、理论与实践 学习笔记 续 前 4 单机优化之确定性算法 基本概述 1)机器学习的优化框架 正则化经验风险最小化:模型在训练数据上的平均损失函数值尽可能小;同时对模型复杂度进行惩罚 2)优化算法的收敛速率 分布式机器学习基本流程 需要使用分布式机器学习的情形(实际情况三者混合) 1)计算量太大:可采取基于共享内存的多线程或多机并行运算(计算并行) 2)训练数据太多:对数据进行划分,分配到多个工作节点上进行训练;每个工作节点基于局部数据训练出子模型,按照一定规律与其他原创 2021-02-07 23:43:42 · 611 阅读 · 0 评论 -
分布式机器学习笔记2
@分布式机器学习笔记 分布式机器学习算法、理论与实践 学习笔记 续 前 3 分布式机器学习框架 大数据与大模型的挑战 1)大数据:为训练大模型提供了物质基础,耗费大量计算资源和时间,对计算机软硬件提了更高的要求 2)大模型:模型参数规模巨大,具有超强的表达能力;但也非常容易过拟合 对计算能力和存储容量提出新要求:趋势是采用并行度更高的处理器(GPU)或者计算机集群(由GPU集群支持的云计算服务)完成训练任务、分布式存储 分布式机器学习基本流程 需要使用分布式机器学习的情形(实际情况三者混合) 1)计算量太原创 2021-02-03 22:27:02 · 248 阅读 · 0 评论 -
分布式机器学习笔记1
@分布式机器学习笔记 分布式机器学习算法、理论与实践 学习笔记 写在前面 本人是电子信息领域相关专业女研究生一枚,研究方向下一代移动通信网络。本科时期玩心未泯……未深入接触科研。现阶段摸索进入科研状态,有一定知识基础,自学机器学习、分布式机器学习相关方法知识~ 比较看重知识的体系性与连贯度,以及自己的思维流等,将较为重要的概念内容记录于此! 1 人工智能的发展 分布式机器学习的必要性:在大数据支撑下,庞大计算机集群,训练大规模机器学习模型 2 机器学习基础 机器学习基本概念 1)经验风险、期望风险、结构风原创 2021-02-02 23:43:57 · 249 阅读 · 0 评论