产品+工程优化+策略算法 一专多能
最优化:凸优化、数值优化(偏工程)
1.1、无约束优化问题:
目标函数不可导时:下降单纯型法
目标函数可求导:梯度下降法
梯度下降:
1.随机梯度下降(比较好用)
2.批处理模式(一般不work)
拟牛顿法:BFGS 、L-BFGS(解决Hession阵过大的问题)
拟牛顿法:先定方向,后定步长
Trust-region方法:先定步长,后定方向
1.2、带约束优化
拉格朗日法
2.1信息检索
倒排索引
3.1统计机器学习(干什么用呢)
视频:方便抓住重点
贝叶斯学习:
指数族分布(PRML一书):最大似然估计
指数族贝叶斯学习
贝叶斯这一套太形式主义(深度学习实事求是)
贝叶斯这一套方式所追求的目的,主要是期望在数学上可解
深度学习:
机器学习关键在于优化
大量数据+模型 才会work
设计结构:算法专家
设计feature:领域专家
CNN、RNN、LSTM、GAN
也许都用不上,参考的是一些思想
RTB、SSP