- 博客(5)
- 资源 (7)
- 收藏
- 关注
原创 [ML] 多任务学习以及流行正则化
Andrew Zhang May 24, 2016线性回归容易因为过拟合而出现高方差,因此为了控制模型复杂度往往在线性回归的时候添加很多正则项,众所周知的就有L0,L1,L2L0,L1,L2,L1L1范式效果是使得参数每一项的值向0缩减,而L0,L2L0,L2范式则是通过将一些参数的权值归零来缩减特征的个数。一、多任务学习的提出 在多任务学习中,每一个任务下数据特征的维数相等,并且对应于相同的意
2016-05-24 21:16:20 4376 4
原创 [ML] AdaBoost算法
华电北风吹 日期:2016-05-21AdaBoost算法通过提高被前一轮弱分类器错误分类样本的权值,降低那些被正确分类的样本的权重,然后构建一系列的分类器,通过分类器的加权投票做出最终决策。一、AdaBoost算法 AdaBoost算法流程AdaBoost 算法流程 —————————————————————————————————— 对于输入样本(x(i),y(i)),i=1,2,.
2016-05-21 19:26:10 1319
原创 ML—高斯混合模型
华电北风吹 日期:2016-05-07高斯混合模型是一个无监督学习算法,主要用思路是利用EM算法对混合高斯分布进行极大似然估计。一、高斯混合分布 对于有kk个高斯分布混合而成的混合高斯分布的概率密度函数有 p(x)=∑zp(x|z)p(z)(1)p(x)=\sum_z p(x|z)p(z) \tag{1} 对于随机变量zz有zz~Multinomial(ϕ)Multinomial(\phi)
2016-05-07 21:37:28 1851
原创 ML—EM
Andrew Zhang May 7, 2016EM算法是一个求解极大似然估计问题的迭代算法。EM算法对于给定的初始值都能够保证收敛,但不能保证全局收敛,对初始值敏感。一、EM算法引入 如果现在有一批服从于一个高斯分布的采样样本,想根据样本推测高斯分布的均值,我们知道只需要写出似然函数进行求导即可求解,并且这个高斯分布均值的极大似然估计就是所有采样样本的均值。 现在,让问题稍微复杂点,如果这批
2016-05-07 19:44:56 4018 2
原创 算法导论—AC自动机
华电北风吹 日期:2016-05-03AC自动机是比较高效的多模式匹配算法。类似于KMP在模式串上的状态转移算法,AC自动机通过在trie树上建立状态转移,使得对匹配串遍历一遍就可以找到所有的模式串。 AC自动机一般有以下三步:首先,对所有的模式串建立trie树。然后,对trie树所有节点以它的最长后缀对应的前缀字符串作为它的失配指针,建立AC自动机。最后一步,对文本串在AC自动机上进行匹配。参
2016-05-03 10:53:42 1315
nature 非负矩阵分解 1999
2016-05-02
斯坦福的凸优化教材
2015-10-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人