- 博客(21)
- 收藏
- 关注
RSS订阅原创 Android Studio修改Standard到Custom模式的方法
这次安装Android Studio时没有照着教程安装，在选择setup模式的时候选择了Standard模式，之后C盘差点爆炸，尝试卸载之后下载重新选择Custom模式，发现不出现弹窗。
2024-06-24 15:10:20
202
原创 机器学习--Transformer 1
Transformer 是一个基于自注意力的序列到序列模型，与基于循环神经网络的序列到序列模型不同，其可以能够并行计算。
2024-03-11 20:25:45
1646
1
原创 机器学习--循环神经网络（RNN）4
（loss function）来评估模型的好坏，选一个参数要让损失最小。以槽填充为例，如上图所示，给定一些句子，给定一些标签，告诉机器说第一个单词它是属于 other 槽，“上海”是目的地槽，“on“属于 other 槽，“June”和“1st”属于时间槽。“抵达”丢到循环神经网络的时候，循环神经网络会得到一个输出 y1。接下来这个 y1会看它的。
2024-03-08 12:15:07
1038
1
原创 机器学习--循环神经网络（RNN）1
（Recurrent Neural Network）是深度学习领域中一种非常经典的网络结构，在现实生活中有着广泛的应用。以（slot filling）为例，如下图所示，假设订票系统听到用户说：“我想在 6 月 1 日抵达上海。”，系统有一些（slot）：目的地和到达时间，系统要自动知道这边的每一个单词是属于哪一个槽，比如“上海”属于目的地槽，“6 月 1 号”属于到达时间槽。
2024-03-04 19:58:09
1034
1
原创 机器学习--自注意力机制4 比较
自注意力还可以被用在图像上。到目前为止，在提到自注意力的时候，自注意力适用的范围是输入为一组向量的时候。一张图像可以看作是一个向量序列，如图所示，一张分辨率为 5 × 10 的图像可以表示为一个大小为 5 × 10 × 3 的张量，3 代表 RGB 这 3 个通道（channel），每一个位置的像素可看作是一个三维的向量，整张图像是5 × 10 个向量。所以可以换一个角度来看图像，图像其实也是一个向量序列，它既然也是一个向量序列，完全可以用自注意力来处理一张图像。?
2024-03-02 21:16:04
892
原创 机器学习--自注意力机制3 进阶
自注意力有一个进阶的版本——多头自注意力的使用是非常广泛的，在翻译、语音识别，用比较多的头可以得到比较好的结果。至于需要用多少的头，这个又是另外一个（需要我们自己设置与调节）在使用自注意力计算相关性的时候，就是用 q 去找相关的 k。相关有很多种不同的形式，所以可以有多个 q，不同的 q 负责不同种类的相关性，这就是多头注意力。如图所示，先把 a 乘上一个矩阵得到 q，接下来再把 q 乘上另外两个矩阵，分别得到q1、q2。
2024-03-02 17:56:34
1126
原创 机器学习--自注意机制2 运作原理
我们就先只讲第一个类型：输入跟输出数量一样多的状况，以序列标注（sequence labeling）为例。序列标注要给序列里面的每一个向量一个标签。虽然输入是一个序列，但可以不要管它是不是一个序列，各个击破，把每一个向量分别输入到全连接网络里面得到输出。这种做法有非常大的瑕疵，以词性标注为例，给机器一个句子：I saw a saw。对于全连接网络，这个句子中的两个 saw 完全一模一样，它们是同一个词汇。既然全连接网络输入同一个词汇，它没有理由输出不同的东西。
2024-02-28 21:43:24
872
1
原创 机器学习--自注意力机制1 引入
截至目前，我们讨论的都是网络的输入为一个向量的情况，如果是回归问题，输出是一个标量，如果是分类问题，输出是一个类别。当输入是一组向量，并且输入的向量的数量是会改变的，即每次模型输入的序列长度都不一样，这个时候应该要怎么处理呢？
2024-02-28 20:40:32
822
1
原创 机器学习--卷积神经网络3
把一张比较大的图像做），把图像偶数的列都拿掉，奇数的行都拿掉，图像变成为原来的 1/4，但是不会影响里面是什么东西。如图，把一张大的鸟的图像缩小，这张小的图像还是一只鸟。
2024-02-11 14:24:46
411
1
原创 机器学习--卷积神经网络2
全连接网络是弹性最大的，可以决定它看整张图像还是只看一个范围。如果它只想看一个范围，可以把很多权重设成 0。全连接层（fully-connected layer ）可以自己决定看整张图像还是一个小范围。但加上感受野的概念以后，只能看一个小范围，网络的弹性是变小的。参数共享又进一步限制了网络的弹性。本来在学习的时候，每个神经元可以各自有不同的参数，它们可以学出相同的参数，也可以有不一样的参数。但是加入参数共享以后，某一些神经元无论如何参数都要一模一样的，这又增加了对神经元的限制。感受野加上参数共享就是。
2024-02-11 14:08:30
865
1
原创 机器学习--卷积神经网络1
根据观察 1 可以做第 1 个简化，卷积神经网络会设定一个区域，即感受野（receptive field）,每个神经元都只关心自己的感受野里面发生的事情，感受野是由我们自己决定的。
2024-02-10 20:34:11
787
1
原创 机器学习--神经网络训练：Loss函数对于优化的影响
将各个class定义为一个个向量，当然我们的feature值也是输入一个向量，通过regression得到一个y，也是一个向量来表示预测值。但是这个数据是不是这个类别，只有0和1两种取值，所以我们用一个softmax函数将得到的预测值y转换为0和1之间的某个值，具体举一个可能的例子，用预测值去除以所有预测值的总和来吧每个预测值变到0和1之间的某个数。
2023-10-28 17:38:48
147
2
原创 机器学习--神经网络训练：学习速率自我调节
现在我们的优化方式是通过动量（考虑前面所有梯度的矢量和）来决定方向，Root Mean Square来表示大小，然后再配上学习速率衰减。
2023-10-28 13:32:51
133
1
原创 机器学习--神经网络训练：批次（batch）和动量（momentum）
之前介绍过了，把训练数据分为很多个batch，然后每个batch算梯度并更新，所有batch全部计算过一次为一个，在一个echo完成后下一个echo前，需要先进行（洗牌，打乱次序），即再次将训练数据重新分配，与之前的分配方式区别开。
2023-10-17 14:48:03
1703
2
原创 机器学习--神经网络训练：局部最小值和鞍点
在之前的机器学习中，我们学到模型的优化方式，如果在一点Loss函数降不下去了，那么说明我们在这个点（critical point）的梯度趋近于零。这个有两种情况，一种就是我们真正找到了（局部最小值），还有一种情况就是我们找到了一个（鞍点）如图所示，（想象你坐在这个马鞍上）这种情况我们按原来的优化方式可能就是我们的点在前后移动，但这时得到的Loss都比我们的saddle point要小，所以我们需要改进我们的优化方式，让我们的点左右移动，减小我们的Loss值。
2023-10-16 19:26:57
431
1
原创 机器学习模型效果不好时的分析
用训练数据训练自己写的函数，找到使Loss最小的参数组，用这个最小的参数组将需要预测的featrue放到函数中得到预测值y。
2023-10-10 16:30:51
642
原创 机器学习基本概念1
Loss（b，w）Loss函数的作用是衡量这组数据的好坏具体的机制如下：将已知的一个x代入，得到一个预测的y值 y1y1和真实的y值（我们称之为Label）是有一定差距的我们算出误差 e1 = |y-y1| 同理我们算出已知的所有x值对应的误差en计算函数：看需求对计算方法进行选择如果y和y1都是几率分布的，使用交叉熵（Cross-entropy）用不同的w，b计算Loss画出等高线图，可以得到如下图的结果，我们把这种等高线图称为。
2023-09-29 21:12:35
107
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人