优化算法
starxhong
毕业于华中科技大学,具有模式识别与智能系统硕士学位,现从业于广告智能推荐领域。
展开
-
大白话解析模拟退火算法
优化算法入门系列文章目录(更新中): 1. 模拟退火算法 2. 遗传算法 一. 爬山算法 ( Hill Climbing ) 介绍模拟退火前,先介绍爬山算法。爬山算法是一种简单的贪心搜索算法,该算法每次从当前解的临近解空间中选择一个最优解作为当前解,直到达到一个局部最优解。 爬山算法实现很简单,其主要缺点是会陷入局转载 2017-04-02 10:23:00 · 643 阅读 · 0 评论 -
softmax——logicstic的泛化
logistic回归:训练集为{(x(1),y(1)),...,(x(m),y(m))},其中m为样本数,x(i)为特征。logistic回归是针对二分类问题的,因此类标y(i)∈{0,1},。其估值函数(hypothesis )如下:代价函数:softmax 回归: softmax回归解决的是多分类问题,即y(i)∈{1,2,...,k}。(这里softma...转载 2016-12-15 21:19:24 · 829 阅读 · 0 评论 -
backpropagation反向传播算法
反向传播算法是神经网络求各节点梯度并更新参数矩阵的核心算法,具有十分重要的意义,可以说没有backpropagation就没有神经网络和深度学习。另外,backpropagation在气象预测,数学分析等领域都有作用。然而,反向传播算法的原理比较难以理解,网上很多描述要么比较晦涩,要么比较零散,很多是翻译过来却没有翻译好,我觉得还是把英文版的拿来看更好,不得不说老外似乎更擅长将抽象地东西表述清...原创 2016-12-19 22:46:43 · 781 阅读 · 0 评论 -
FTRL 算法理解
Online LR—— FTRL 算法理解Online Learning定义Online Learning是一种模型训练的方法,能够根据线上反馈数据,实时快速的进行模型调整,使得模型及时反映线上的变化,提高线上预测的准确率。Online Learning的流程包括:将模型预测结果展现给用户,然后收集用户的反馈数据,再来训练模型,形成闭环的系统。与传统训练方法的区别传统的训练方法在模...转载 2018-08-03 15:45:16 · 5438 阅读 · 0 评论