![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
有丝吼
这个作者很懒,什么都没留下…
展开
-
论文总结Discrete collaborative filtering
最近在看这篇较新的基于哈希的协同过滤论文,现在贴几张图片,将论文脉络梳理一下,日后再写总结。1.2.3.B-subproblem进一步得到:推导过程如下在附录。D-subproblem 与此同理。原创 2016-09-12 22:03:23 · 1396 阅读 · 1 评论 -
矩阵形式回归系数W推导
前段时间看机器学习实战回归这个章节的内容,在矩阵形式的平方误差推导出回归系数W的的地方,作者直接给出了W 的表达式,当时并没有亲自推导。乍一看很好理解就过去了。后来看论文的过程中,又遇到了类似的推导,在打算自己推导的时候,发现并不容易,主要是并没有学习过矩阵求导的知识。后来在网上看到了矩阵求导的知识,贴在这里: x is a column vector, A is a matrix原创 2016-08-13 21:57:05 · 1538 阅读 · 1 评论 -
学习曲线(learning curve)
问题描述:在做特征工程并训练模型的过程中,可能会出现过拟合(高方差)或者欠拟合(高偏差)的情况,怎么判定我们的模型所处的状态呢。是什么: 是一个用来判定 1添加更多的训练数据给我们带来多大的收益 2模型是否处在过拟合/欠拟合的状态例子: 通过上图可以看出,随着训练样本增加,Training score 在...原创 2018-03-23 17:32:00 · 3875 阅读 · 0 评论 -
交叉熵代价函数
问题描述:在使用sigmoid激活函数和方差代价函数的场景中,因为sigmoid的性质,导致σ'(z)在z取大部分值时会很小,如下图,导致w和b更新非常慢是什么: 两个性质:1.非负性 2.当真实输出a与期望输出y接近的时候,代价函数接近于0为什么: 导数中没有σ'(z)这一项,权重的更新受σ(z)-y 影响,即受误差的影响。 所以当误差大...原创 2018-03-27 16:06:49 · 189 阅读 · 0 评论 -
激活函数Relu 及 leakyRelu
Relu 及 leakyRelu是深度学习中常用的激活函数,看了几篇博客后,做一个小的总结。 1. Relu: 数学表达式:a = max(0, z) 函数图像为: 优点:由上图可以看出,Relu得到的SGD的收敛速度较快 缺点:训练的时候很容易‘die'了,对于小于0的...原创 2018-05-04 11:37:19 · 76127 阅读 · 2 评论