算法
周二下午多云转小雨
这个作者很懒,什么都没留下…
展开
-
机器学习基石——线性回归
线性回归 什么样的数据适合用线性回归模型: 模型介绍与推导: 在神经网络中可替换为只含输入输出层且无非线性激活函数的模型。 Logistic回归 什么样的数据适合用Logistic回归模型: 模型介绍与推导: 在神经网络中可替换为只含输入输出层带sigmoid激活函数的模型。 ...原创 2019-01-25 23:35:29 · 314 阅读 · 0 评论 -
机器学习基石——线性回归加入正则项
接上一篇https://blog.csdn.net/qq_29508953/article/details/86494190 为什么要加正则项 不是满轶会导致线性回归无穷多解问题,而加入正则项可以解决该问题。 加入正则项可以对模型参数有一定的约束,模型参数空间变小,简化了模型,减小了过拟合风险。 加入正则项后的线性回归推导(还是基于最小二乘法) 这里加入的是L2正则项,当然正则项还有L1和...原创 2019-01-26 17:30:05 · 754 阅读 · 0 评论 -
机器学习基石——Heoffding不等式推导
该文推导参考了 https://www.cnblogs.com/kolmogorov/p/9518867.html https://blog.csdn.net/hedan2013/article/details/76337040 0.Heoffding不等式 是独立的随机变量(不一定同分布); ; ;。 1.证明Heoffding不等式,首先得先证明 其中是一个随机...原创 2019-01-28 00:13:37 · 784 阅读 · 0 评论 -
机器学习基石——VC维浅谈
VC维这个概念很重要,关于机器学习中预防过拟合的一些操作都可以用这个概念解释。http://www.flickering.cn/machine_learning/2015/04/vc%E7%BB%B4%E7%9A%84%E6%9D%A5%E9%BE%99%E5%8E%BB%E8%84%89/中对VC维有非常详细的介绍,本文是对其的一些整理与理解。 了解VC维之前,需要知道一个Heoffding不...原创 2019-01-31 11:50:19 · 785 阅读 · 2 评论 -
机器学习基石——VC维中的A Pictorial Proof
这一节主要描述了本人对VC维中 该式 推导为 推导过程的个人理解,若有理解不当之处,望各位指正! step1描述: step1理解: 由两个因素决定,一个是假设h(h属于假设空间H),还有一个是N个input的样本集(这N个样本集来自无穷的样本空间)。当h和input的样本集确定时,的值也就确定了。 只由假设h决定,因为是指假设h作用在样本空间中的每一个样本所产生的期望误差。 ...原创 2019-02-21 22:15:38 · 344 阅读 · 1 评论 -
机器学习基石——学习类型
按照输出空间划分 二分类 多分类 回归 结构化学习(NLP领域相关) 按照标签划分 无监督学习 半监督学习 有监督学习 增强学习(没有真实的输出y,根据模型的输出反馈,如果反馈结果良好,更接近真实输出,就给其正向激励,如果反馈结果不好,偏离真实输出,就给其反向激励。) 按照不同的协议划分 Batch Learning Online Learning Active Learning(有的时候,有类标...原创 2019-02-27 21:38:27 · 117 阅读 · 0 评论 -
机器学习基石——感知机
本文主要介绍了两块内容:(1)感知机模型;(2)一种感知机优化算法。 感知机(Perceptron)模型介绍 公式1:h(x)=sign((∑i=1nwixi)−threshold)公式1:h(x)=sign((\sum_{i=1}^{n}w_ix_i)-threshold) 公式1:h(x)=sign((i=1∑nwixi)−threshold) 其中(x1,x2,...,xn)(x_1,...原创 2019-02-24 21:21:22 · 238 阅读 · 0 评论 -
机器学习基石——Noise and Error
noise 对于真实场景而言,大规模数据集多少会有一些noise。 数据集中的noise来源:1)来源于x,采集特征时出现错误;2)来源于y,打标签时出错。 有noise情况与理想情况区别:原来对于某个x,y是确定值;当有了noise之后,对于某个x,y是一个概率分布P(y∣x)P(y|x)P(y∣x)。 有noise情况VC bound不等式是否依然成立:如果数据集标签按照P(y∣x)P(y|x...原创 2019-03-01 22:04:24 · 292 阅读 · 0 评论 -
卷积神经网络(CNN)结构发展总结
目前经典的CNN结构 一般网络结构 LeNet AlexNet、ZFNet、OverFeat VGG GoogLeNet Inception V1、V2、V3、V4 ResNet、Wide ResNet、ResNeXt、FractalNet、PreActResNet DenseNet SENet、SKNet DPNet NASNet Capsule Net QCNN 轻量化网络结构 Sque...原创 2019-04-07 22:07:38 · 603 阅读 · 0 评论