Seth的博客

Seven is a mystical number

深度学习与神经网络关系

Deep Learning的基本思想        假设我们有一个系统S,它有n层(S1,…Sn),它的输入是I,输出是O,形象地表示为: I =>S1=>S2=>…..=>Sn => ...

2018-10-30 20:38:39

阅读数 8228

评论数 0

正向传播forward propagation:神经网络的输出表示 及其 向量化与递推关系

正向传播就是输入x一步一步从输出层经过各隐层到达输出层的过程 见下图笔记 NN基本结构 符号约定 上角标[ ],代表层数;上角标(),代表不同样本;无括号下角标,代表不同特征。 计算过程 向量化(将多个样本写成矩阵)   i层与i+1层的递推关系 维数的对...

2018-10-30 19:21:12

阅读数 233

评论数 0

神经网络激活函数和损失函数

激活函数   1、sigmoid 其导数及其满足的关系如下          sigmoid函数曲线如下: sigmoid激活函数,符合实际,当输入值很小时,输出接近于0;当输入值很大时,输出值接近于1。 但sigmoid激活函数有较大的缺点,是主要有两点: (1)容易引起梯度...

2018-10-30 16:11:24

阅读数 471

评论数 0

ReLU激活函数:简单之美

导语 在深度神经网络中,通常使用一种叫修正线性单元(Rectified linear unit,ReLU)作为神经元的激活函数。ReLU起源于神经科学的研究:2001年,Dayan、Abott从生物学角度模拟出了脑神经元接受信号更精确的激活模型,如下图:   其中横轴是时间(ms),纵轴是神经...

2018-10-29 19:01:01

阅读数 69

评论数 0

few-shot learning是什么

小样本学习 来源:我们人类是具有快速从少量(单)样本中快速学习能力的,其实在我们学习的过程中,人类的大脑将对象和类别组成有用的信息将之分类。 首先需要声明的是,小样本学习属于迁移学习。 接着,举个例子详细阐述。人类从未见到过“澳大利亚的鸭嘴兽”,给我们一张鸭嘴兽的照片后,人类就认识了! 有...

2018-10-23 11:07:25

阅读数 398

评论数 0

机器学习中的在线学习与离线学习

一直以来对这个有所疑惑,所里师姐和师兄的解释好像和论文中的在线离线有所不同。现在国内外有这么几种理解方式。 我就在这边给自己做个小笔记吧。有不对的地方望予以指正,本人必虚心改正。 在线学习和离线学习(online learning and offline learning) 理解方式一: 在这一...

2018-10-21 12:12:46

阅读数 598

评论数 0

K-means聚类算法——机器学习

聚类属于无监督学习,以往的回归、朴素贝叶斯、SVM 等都是有类别标签 y 的,也就 是说样例中已经给出了样例的分类。而聚类的样本中却没有给定 y,即监督样本。 在聚类问题中,给我们的训练样本是{

2018-10-21 10:12:13

阅读数 56

评论数 0

规则化和模型选择(Regularization and model selection)——机器学习:交叉验证Cross validation

零 问题提出 在机器学习中的偏差与方差一文中提到了偏差与方差。那么在多种预测模型,如线性回归(y=θTx),多项式回归(y=θTx^(1~m))等,应使用那种模型才能达到偏差与方差的平衡最优? 形式化定义:假设可选的模型集合是M={M1,M2,...,Md},比如SVM,logisitic回归...

2018-10-21 09:26:08

阅读数 162

评论数 0

提示
确定要删除当前文章?
取消 删除