人工智能优化算法
NanciZhao
这个作者很懒,什么都没留下…
展开
-
牛顿下降法
前言、求解什么问题 1)求解方程f(x)=0的值; 2)求解最优化问题的极值 在最优化的问题中,线性最优化至少可以使用单纯行法求解,但对于非线性优化问题,牛顿法提供了一种求解办法:假设任务是优化一个目标函数f,求函数f的极值,可以转化为求解函数f的导数f' = 0的问题,这样就可以把问题当做问题1)求解了 一、牛顿法 1.1 思想 牛顿法的设计是为了求解f(x)=0的问题...原创 2019-10-09 10:09:46 · 2167 阅读 · 0 评论 -
感知器分类算法
Implementing a perceptron learning algorithm in PythonDefine a Classimport numpy as npclass Perceptron: """ w_: weight errors_: errors """ def __init__(self, eta=0.01, n_iter=10): ...转载 2018-05-03 18:30:07 · 1096 阅读 · 0 评论 -
EM算法——学习笔记
提出:有时候任务中含有一些不能观察到的隐含变量,样本的产生和隐含变量有关,而求模型的参数时一般用最大似然估计,由于隐含变量的存在,所以对似然函数参数求导是不可行的,这是采用EM算法来求导。 总结:EM算法是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计。两个步骤交替计算: E步:利用当前估计的参数值,求出在该参数下,隐变量的条件概率值(计算对数似然的期望值); M步:结合E步求出的...原创 2019-08-16 10:28:53 · 189 阅读 · 0 评论 -
梯度下降法
一、梯度下降法 二、SGD 这里SGD和min-batch是同一个意思,抽取m个小批量(独立同分布)样本,通过计算他们的梯度均值。后面几个改进算法,均采用mini-batch的方式。 三、动量梯度下降法(Mometum) 由于SGD具有强烈的振荡,momentum就是为了缓解这种振荡而提出的: 直观上讲就是,要是当前时刻的梯度与历史时刻梯度方向相似,这种缺失在当前时刻则会加强;要是不同,...原创 2019-08-16 10:29:57 · 258 阅读 · 0 评论 -
坐标上升法
一、要解决哪类问题 假设需要求解的优化问题包含多个变量,例如: maxW(α1,α2,⋯,αm) 求出是的W最大/最小的参数序列 二、算法的解题思路 算法采用迭代的思想,每次固定其它参数,调整一个ai,求出使得W最大的ai。再换一个ai(即换一个方向进行调整),直到算法收敛。 ...原创 2019-08-29 16:47:35 · 288 阅读 · 0 评论