![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习理论
文章平均质量分 88
飞翔的大马哈鱼
这个作者很懒,什么都没留下…
展开
-
一种超级简单的Self-Attention ——keras 实战
Attention技术在 NLP 模型中几乎已经成了不可或缺的重要组成部分,最早Attention主要应用在机器翻译中起到了文本对齐的作用,比如下图,Attention 矩阵会将 法语的 La Syrie 和英语的 Syrie 对齐,Attention 机制极大的提升了机器翻译模型的性能。attention 文本对齐而最近各种花式的Attention机制相继被提出,同时这些Attention机制也不断的刷新着各种NLP任务的SOTA(state of the art)。Attention 机制原创 2020-05-15 11:30:07 · 2490 阅读 · 0 评论 -
深度学习中的Data Augmentation方法(转)基于keras
在深度学习中,当数据量不够大时候,常常采用下面4中方法:1. 人工增加训练集的大小. 通过平移, 翻转, 加噪声等方法从已有数据中创造出一批"新"的数据.也就是Data Augmentation2. Regularization. 数据量比较小会导致模型过拟合, 使得训练误差很小而测试误差特别大. 通过在Loss Function 后面加上正则项可以抑制过拟合的产生. 缺点是引转载 2017-05-06 22:03:17 · 1219 阅读 · 0 评论 -
一种多分类的Logistic Regression-Soft Max Regression
softmax回归就是基于logistic回归的,由很多个logistic分类器组成。在sklearn中,softmax就是用的sklearn.linear_model.LogisticRegression我们知道logistic regression很适合做一些非线性方面的分类问题,不过它只适合处理二分类的问题,且在给出分类结果时还会给出结果的概率。那么如果需要用类似的方法(这里转载 2017-06-22 13:22:16 · 799 阅读 · 0 评论 -
RNN以及LSTM的介绍和公式梳理
前言好久没用正儿八经地写博客了,csdn居然也有了markdown的编辑器了,最近花了不少时间看RNN以及LSTM的论文,在组内『夜校』分享过了,再在这里总结一下发出来吧,按照我讲解的思路,理解RNN以及LSTM的算法流程并推导一遍应该是没有问题的。RNN最近做出了很多非常漂亮的成果,比如Alex Graves的手写文字生成、名声大振的『根据图片生成描述文字』、输出类似训练语料的文转载 2017-07-21 11:35:55 · 256 阅读 · 0 评论 -
目标函数(耗费函数)的总结与整理
目标函数,或称损失函数,是网络中的性能函数,也是编译一个模型必须的两个参数之一。由于损失函数种类众多,下面以keras官网手册的为例。在官方keras.io里面,有如下资料: mean_squared_error或mse mean_absolute_error或mae mean_absolute_percentage_error或mape mean_squa...原创 2017-08-09 09:53:20 · 7744 阅读 · 2 评论 -
《机器学习实战》笔记之七——利用AdaBoost元算法提高分类性能
第七章 利用AdaBoost元算法提高分类性能7.1 基于数据集多重抽样的分类器基于数据集多重抽样的分类器集成方法(ensemble method)或者元算法(meta-algorithm):将不同的分类器组合起来。使用集成方法时会有多种形式:可以是不同算法的集成,也可以是同一算法在不同设置下的集成,还可以是数据集不同部分分配给不同分类器转载 2017-12-22 21:56:50 · 397 阅读 · 0 评论