- 博客(10)
- 收藏
- 关注
RSS订阅原创 多种多样的self-attention
多种多样的self-attentionlocal/truncated attention 只看自己和前后一个向量之间的attention.stride attention 自己选择看自己和之外的距离多远的向量的attention.global attention, 在原来的sequence里面加入一个特殊的token(令牌), 表示这个位置要做global attention.global attention中的token会做两件事:当前的token他会attend到sequence里的每一个
2022-03-27 18:43:41
1160
原创 Transformer（未完成）
Transformer是一个sequence to sequence(seq2seq)的模型即是一个输入是一个sequence, 输出是一个sequence. 并且输出的sequence的长度由模型来决定.如语音辨识: 输入是声音信号, 输出是语音识别的文字. 或者翻译: 输入一种语言输出另一种语言.虽然seq2seq可以解决各式各样的的问题, 但是不见得是最好用的. 针对问题客制化模型会更好, 但是seq2seq还是很厉害的.很多问题虽然并不觉得是seq2seq的model的问题但是也可以用它硬
2022-03-27 18:40:28
547
原创 第六节 Self-attention
第六节 Self-attention这个self-attention想要解决的问题是什么呢？到目前为止，我们的network的input都是一个向量，不论是在预测中还是影像处理上，regression输出是一个scalar，classification的输出可能是一个class。但若是遇到了更加复杂的问题呢？假设输入为一排向量a set of vectors呢，而且输入的向量是会改变的呢vectors may change length。每次给model输入的sequence的数目和sequence
2022-03-27 18:39:23
1063
原创 深度学习好在哪里？
深度学习好在哪里？我们已知陷入了两难的境地：当我们选择一个较为复杂的模型，它所对应的可选方程就会有很多，在最理想的数据集中，我们可以得到更小的loss，但是坏处就是理想和现实训练集训练得到的方程在实际数据集中的loss会有较大的差距。而选择一个较为简单的模型的话，它所对应的可选择的function就会更少。对应的在最理想的数据集中，loss就会比较大。但是训练集所得结果和理想的结果距离就会较小。那有什么手段可以使我们既可以得到较小的理想数据集训练得到的function的loss，还可以减小训练集得到
2022-03-27 18:35:06
429
原创 第五节 Convolutional Neural Network (CNN)
第五节 Convolutional Neural Network (CNN)1. image classification 图像分类首先假设输入模型的所有图片的大小都是固定的。如果图像不一样就线rescale成一样的再放进去。因为是分类，所以每一个目标label y^\bm{\hat y}y^ 都以one-hot向量的形式表示。这个向量的长度就表示了总共有多少个类。对于一个RGB图像，是一个三维的tensor，一个维度代表长，一个维度代表宽，一个维度代表channel（通道），channel就是R
2022-03-27 18:34:00
620
原创 损失函数(Loss)也可能有影响
4. 损失函数(Loss)也可能有影响（还没看长的版本）在回归问题中，输入一个值，输出一个预测值，通过计算预测值与真实值之间的差距来判断预测的是否准确。在分类问题中，也可以将他看作为一个特殊的回归问题，输入一个值，输出一个预测值，但是如果简单的把分类从线性上挨个罗列出来会产生歧义，例如将类别1的真实值设为1，类别2的真实值设为2，类别3的真实值设为3。那么这里就会默认一个信息，类别1和2相似，类别2和3相似，因为二者的距离更小；而类别1，3则不相似，因为距离大。但是这样的分类并不准确，因为类别之间可能
2022-03-27 18:31:42
3019
原创 第四节 类神经网络训练不起来怎么办
第四节 类神经网络训练不起来怎么办1. saddle point（马鞍点）当gradient太小的时候，大多是这种saddle point情况，而不是local minima。如果出现了saddle point怎么办呢？通常使用泰勒展开解决问题。将Loss Funciton在θ′\bm{\theta '}θ′二阶展开:L(θ)=L(θ′)+(θ−θ′)Tg+12(θ−θ′)TH(θ−θ′)L(\bm{\theta}) = L(\bm{\theta '}) + (\bm{\theta} - \bm{
2022-03-27 18:31:07
371
原创 第三节 backpropagation
第三节 backpropagationL(θ)=∑n=1NCn(θ)L(\bm{\theta}) = \sum ^N _{n=1} C^n(\bm{\theta})L(θ)=∑n=1NCn(θ)Cn(θ)C^n(\bm{\theta})Cn(θ)是某一种loss值。上式中的上标n表示第n组数据，如Cn(θ)C^n(\bm{\theta})Cn(θ)表示：第n个数据x输入的结果y与y^之间的距离第n个数据\bm x输入的结果y与\hat y之间的距离第n个数据x输入的结果y与y^之间的距离。上式若
2022-03-27 18:29:03
68
原创 第二节 深度学习的基本概念简介 下
第二节 深度学习的基本概念简介 下piecewise linear curve = constant（常数） + sum of a set of (linear curves)蓝色方程hard sigmoid只要简单曲线够多就可以逼近任意连续曲线。approximate continuous curves by piecewise linear curve。上面所说简单曲线可以用sigmoid曲线逼近。sigmoid函数为：y = c * 11+e−(b+wx1)\frac {1} {1 + e
2022-03-27 18:28:39
171
原创 深度学习的基本概念简介 上
第一节 深度学习的基本概念简介 上1. 机器学习用语denominator分母numerator分子activation function 激活函数，eg：sigmoid、relu（reactified linear unit max(0, b+wx)）induction 归纳sparse稀疏deduction 演绎label 真实值parameter 参数，是函数隐含的，被训练得到的；hyper parameter 超参数，是人为设定的那些参数；global minima 全局最小；
2022-03-27 18:27:44
1187
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人