- 博客(33)
- 收藏
- 关注
RSS订阅原创 机器学习第三十三周周报
本研究的目的是从不同的数据中学习深层特征，以识别语音情感。设计了一种合并卷积神经网络(CNN)，该网络有两个分支，一个是一维(1D)CNN分支，另一个是2D CNN分支，以从原始音频片段和LOG-Mel谱图中学习高层特征。合并后的深度CNN的建设包括两个步骤。首先，设计和评估了一个一维CNN结构和一个2D CNN结构；然后，在删除第二致密层后，将这两个CNN结构合并在一起。为了加快合并后的CNN的培训速度，在培训中引入了迁移学习。首先训练的是一维CNN和2D CNN。
2024-01-15 01:16:52
1098
1
原创 机器学习第三十二周周报
本周，我阅读了一篇关于自注意力机制相关的论文，论文提出了一种新的序列感知推荐模型，通过自注意力机制，能够估计用户交互轨迹中每个item的相对权重，以更好地表示用户的瞬时兴趣。论文最主要的核心点是提出结合度量学习和Self-Attention的方法来解决序列推荐问题，以及显式地控制了长短期兴趣对模型的影响。我继续展开对self-attention的学习，主要学习了self-attention的优点，模型实现的特点，以及用代码实现self-attention。
2024-01-07 15:38:32
1065
原创 机器学习第三十周周报
STAMP: Short-Term Attention/Memory Priority Model for Session-based Recommendation,论文中提到了现有的方法都没有明确考虑用户当前行为对其下一步行动的影响。于是，论文中提出了一种新的短期注意力优先级模型作为补救措施，该模型能够从会话上下文的长期记忆中捕获用户的一般兴趣，同时考虑到用户最近点击的短期记忆中的当前兴趣。最后，论文通过在数据集上做实验，实验结果证明了这种新的短期注意力优先级模型的有效性。
2023-12-24 16:55:50
162
原创 机器学习第二十九周周报
Network in Network论文中描述了一种新型卷积神经网络结构，叫做Network in Network。NIN提出了一种全新的思路，用多个由卷积层和全连接层构成的微型网络来提取特征，其中全连接层用1 * 1的卷积层代替，用全局平均池化层来输出分类。这类新奇的设计思路影响着后面一系列卷积神经网络的设计。最后我尝试用代码去实现Network in Network、AlexNet和VGG等卷积神经网络模型。
2023-12-17 19:06:38
112
原创 机器学习第二十八周周报
机器学习第二十八周周报摘要Abstract一、文献阅读1.题目2.Abstract3.网络结构（1）结构示意图（2）VGG特点4.文献解读（1）Introduction（2）Convnet ConfigurationsArchitectureConfigurationsDiscussion（3）Classification Framework（4）Classification ExperimentsSingle ScaleMulti Scale（5）Conclusion二、深度学习1.CNN卷积神经网络的5
2023-12-10 19:05:39
138
原创 机器学习第二十七周周报
ImageNet Classification with Deep Convolutional Neural Networks》的主要贡献是构建了一个深层神经网络架构,该架构具有几点创新之处。第一,通过减少参数量来加速训练;第二,提出了几种避免过拟合的措施;第三,使用ReLU激活函数取代了tanh和softmax。另外,我还深入学习了CNN的原理。CNN通过卷积和池化等操作,逐步减小图像尺寸,从而大大减少了参数量。这篇文章利用了一个深度卷积神经网络来进行图片分类，取得了一个非常好的效果。
2023-12-02 22:27:56
140
原创 机器学习第二十六周周报
目标检测任务是找出图像或视频中人们感兴趣的物体，并同时检测出它们的位置和大小。不同于图像分类任务，目标检测不仅要解决分类问题，还要解决定位问题，是属于Multi-Task的问题。本周学习了目标检测的相关知识，下周将学习Bounding Box预测的相关知识。
2023-11-26 16:53:57
72
原创 机器学习第二十五周周报
词嵌入是自然语言处理中语言模型与表征学习技术的统称。概念上而言，它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组被映射为实数域上的向量。本周学习了自然语言处理与词嵌入，下周将继续学习相关知识。
2023-11-19 15:02:47
111
原创 机器学习第二十四周周报
Batch正则化和普通的数据标准化类似，将分散的数据统一的一种做法，也是优化神经网络的一种方法。它具有统一规格的数据，能让机器学习更容易学习到数据之中的规律。本周学习了超参数调试、Batch正则化和程序框架，下周将继续学习相关知识并辅以论文。
2023-11-12 16:54:33
86
原创 机器学习第二十三周周报
深度学习当中最常用的方法就是深度卷积网络。比起神经网络来说，深度卷积网络的优点在于对特征值进行计算而不是对原始值进行计算。卷积神经网络是一种具有局部连接、权值共享等特点的深层前馈神经网络，是深度学习的代表算法之一，擅长处理图像特别是图像识别等相关机器学习问题。本周学习了深度卷积网络中的经典网络和残差网络，下周将继续学习相关内容并辅以文献补充。
2023-11-05 17:38:59
131
原创 机器学习第二十二周周报
卷积神经网络是一种具有局部连接、权值共享等特点的深层前馈神经网络，是深度学习的代表算法之一，擅长处理图像特别是图像识别等相关机器学习问题，比如图像分类、目标检测、图像分割等各种视觉任务中都有显著的提升效果，是目前应用最广泛的模型之一。
2023-10-29 18:07:35
137
原创 机器学习第二十一周周报
本周学习了深层神经网络的相关知识。深层神经网络的重要特征就是网络的层数多，因此能携带更大的数据，可以实现更复杂的数据关系映射。而实现多层网络结构就要通过在网络中使用非线性激活函数，使得神经网络可以任意逼近任何非线性函数，从而对各种函数关系进行拟合。本周学习了深度神经网络、前向传播、反向传播以及超参数，下周将学习如何改善深度神经网络。
2023-10-22 18:51:41
90
原创 机器学习第二十周周报
本周学习了python中numpy的向量说明以及计算神经网络的输出以及多样本向量化的内容。逻辑回归是将各个训练样本组合成矩阵，对矩阵的各列进行计算。神经网络是通过对逻辑回归中的等式简单的变形，让神经网络计算出输出值，这种计算是所有的训练样本同时进行的。本周进行了神经网络输出以及多样本向量化的公式推导，下周将继续学习多样本向量化以及其他内容。
2023-10-15 17:30:43
95
1
原创 机器学习第十九周周报
本周学习了向量化，向量化能使代码更短，也能使其运行更有效。还允许使用现代数值线性代数库，甚至可能使用GPU加速执行代码。本周学习了向量化以及python中的广播相关知识，下周将继续学习python中的广播以及后续内容。
2023-10-08 20:33:25
147
1
原创 机器学习第十八周周报
本周开始学习吴恩达的梯度下降法，梯度下降法在机器学习中常常用来优化损失函数，是一个非常重要的工具。本周学习了吴恩达的梯度下降，下周将开始学习向量化技术。
2023-09-24 16:08:58
149
1
原创 机器学习第十七周周报
本周开始观看吴恩达的机器学习。梯度下降是迭代法的一种，在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。supervised与self-supervised的区别supervised learning是需要有标签的资料的，而self-supervised learning不需要外界提供有标签的资料，他的带标签的资料源于自身。
2023-09-17 16:23:01
143
1
原创 机器学习第十六周周报
不同于VAE的简单高斯分布，flow-based生成模型用的是构造出来的较复杂的后验分布来表征。用一系列的可逆映射将原始分布转换成新的分布，最终达到将简单的高斯分布转换为复杂的真实后验分布的目的，就是用多个比较简单的生成器进行串联，来达到用简单的分布转换成复杂的分布的效果。
2023-08-27 21:18:47
85
原创 机器学习第十五周周报
VAE是一种生成式模型，主要对数据的结构进行建模，捕捉数据不同维度之间的关系，从而可以由模型来生成新的数据。基本思路是给定一堆真实数据，通过编码器映射到潜在变量空间，得到理想分布，采样得到部分潜在特征向量，再利用解码器生成数据。VAE，生成模型，基本思路：给定一堆真实数据，通过编码器映射到潜在变量空间，得到理想分布，采样得到部分潜在特征向量，再利用解码器生成数据。我们期望生成的数据和真实数据很像。
2023-08-13 21:16:38
100
1
原创 机器学习第十四周周报
GAN网络全称generative adversarial network，是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中两个模块，即生成模型和判别模型的互相博弈学习产生相当好的输出。本周将继续上周的对GAN的学习。
2023-07-30 18:48:30
146
原创 机器学习第十三周周报
GAN网络全称generative adversarial network，是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中两个模块，即生成模型和判别模型的互相博弈学习产生相当好的输出。本周学习了部分GAN的相关知识，下周将继续学习。
2023-07-23 18:03:25
140
2
原创 机器学习第十二周周报
本周学习了Non-Autoregressive Generation，对比了Autoregressive Sequence Generation和Non-Autoregressive Sequence Generation，学习了NAT的概念，了解了部分NAT模型的机制，NAT模型打破了生成时的串行顺序，希望一次能够解码出整个目标句子，从而解决AT模型所带来的问题。所谓的Autoregressive Sequence Generation就是从左到右的一个个的生成token。
2023-07-16 16:11:12
250
1
原创 机器学习第十一周周报
自注意力机制在自然语言处理领域的革新已显著提高了各种任务的性能。自注意力机制的目的是让程序注意到整个输入中不同部分之间的相关性，用来解决全连接神经网络对于多个相关的输入无法建立起相关性的问题。自注意力能够对序列中元素之间的依赖关系进行建模，从而实现更有效的上下文感知表示。该机制为序列中的元素分配不同的权重，有效捕获长距离依赖关系，并缓解传统循环神经网络中遇到的问题。本周将基于前几周学习的自注意力机制的知识，对自注意力机制类别进行总结。先回顾之前学习的self-attention。
2023-07-09 17:32:36
139
1
原创 机器学习第十周周报
Transformer 由 Encoder 和 Decoder 两个部分组成，Encoder 和 Decoder 都包含 6 个 block。Transformer 的工作流程大体为获取输入句子的每一个单词，将得到的单词表示为向量矩阵传入 Encoder 中，经过 6 个 Encoder block 后可以得到句子所有单词的编码信息，然后将 Encoder 输出的编码信息矩阵传递到 Decoder 中，在 Decode 中进行进行操作。
2023-07-02 18:00:39
92
1
原创 机器学习第九周周报
图神经网络是指使用神经网络来学习图结构数据，提取和发掘图结构数据中的特征和模式，满足聚类、分类、预测、分割、生成等图学习任务需求的算法总称。将一个图输入到网络中，会得到一个输输出图，输出的图和输入的图相比，顶点、边、以及全局信息会发生一些改变。类似于一般的神经网络一样，会对输入的数据进行改变得到输出数据，不同的是GNN的输入是一个图，输出也是一个图。GNN简单来说就是Graph + Nerual Networks，关键问题就是将图的结构和图中每个节点和边的特征转化为一般的神经网络的输入。
2023-06-25 17:39:04
103
1
原创 机器学习第八周周报
循环神经网络是一类以序列数据为输入，在序列的演进方向进行递归且所有节点按链式连接的递归神经网络。循环神经网络具有记忆性、参数共享并且图灵完备，因此在对序列的非线性特征进行学习时具有一定优势。循环神经网络在自然语言处理，例如语音识别、语言建模、机器翻译等领域有应用，也被用于各类时间序列预报。引入了卷积神经网络构筑的循环神经网络可以处理包含序列输入的计算机视觉问题。
2023-06-18 16:38:57
173
1
原创 机器学习第七周周报
本周，我们主要研究了深度学习的好处以及自注意力机制。本文通过对比发现，当function是复杂且规律的时候，Deep Network比Shallow Network表现得更好，从而得出深度学习是一个可以让鱼和熊掌兼得的方法。神经网络接收的输入是很多大小不一的向量，并且不同向量之间有一定的关系，但是实际训练的时候无法充分发挥这些输入之间的关系而导致模型训练结果效果很差。自注意力机制的目的是让程序注意到整个输入中不同部分之间的相关性，用来解决全连接神经网络对于多个相关的输入无法建立起相关性的问题。
2023-06-11 11:08:23
74
原创 机器学习第六周周报
本周继续上周学习的“深度学习新的优化器”，继续比较各种算法之间的优劣。接下来开启了对卷积神经网络的学习，以图片分类为例，逐步发现问题，然后简化问题，最终解决问题，从而引出CNN的步骤，最终发现CNN在图像识别领域的应用十分广泛。
2023-06-04 12:50:55
141
1
原创 机器学习第五周周报
本周首先通过重温之前尝试做的宝可梦和数码宝贝的分类器，复习一下做该分类器的过程，在复习这些过程的同时，来发现之前没考虑到的机器学习的问题，通过数学推导来简要分析部分机器学习的原理，我们发现训练资料数目越大，sample到坏资料的几率就越低，若|H|变小，sample到坏资料的概率也会变低。同时也开始学习了“深度学习新的优化器”这一章节，本周通过对比之前学习的一些算法，来发现这些算法的一些不足，然后进一步改进这些算法。
2023-05-27 09:00:00
265
原创 机器学习第四周周报
如图所示假设y1,y2,y3赋值如上图，两者都是在y1小y2大的时候，loss比较大，在y1大y2小的时候，loss比较小，所以我们期待在训练的时候，我们的参数可以从左上走到右下，如果我们选择cross-entropy，因为有斜率，我们会从左上往右下走，但如果我们选择MSE，就会卡住。batch size 小的时候，更新时间很短，但由于分成的组数多，更新所有数据的总用时反而长，但batch size 比较大的时候，更新次数少，只是一次更新的时间变长了。所以当在做分类问题时，比较常见的作法如下。
2023-05-21 12:51:16
76
1
原创 机器学习第三周周报
第一种方法就是增加训练数据，但这种方法需要大量收集资料，或者我们可以使用Data augmentation这种方式，这种方式是对原有的资料进行修改，但需要注意修改的要合理，例如图中的猫，你可以左右颠倒，也可以放大，这都是在现实世界合理的，但不能对图片进行上下颠倒，这样在现实世界中是不存在的。该图中，一些远远大于1的蓝色的点会影响分类的标准，理想情况应该为绿色的线，但实际上因为这些蓝色点的影响，实际为紫色的线，最后将会影响分类的结果，即为。然后我们计算每一个点的概率然后将这些点进行分类。
2023-05-14 16:57:59
127
原创 机器学习第二周周报
2.常见的Transforms（1）关注点输入输出作用（2）代码二、Google Colab1.What is Colab?Colab, or “Colaboratory”, allows you to write and execute Python in yourbrowser, withDifferent connection leads to different network structures.To compute the gradients efficiently
2023-05-08 00:03:23
95
1
原创 机器学习第一周周报
如果是连续曲线，approximate continuous curve by a piecewise linear curve. To have good approximation, we need sufficient pieces.将数据集N随机分成若干个部分，每一个部分叫做一个batch，对每一个batch进行梯度下降，y：model 预测；这是一个直接向log_dir写的一个事件文件，被TensorBoard所解析。非线性表示：y = b + ∑ci sigmoid(bi + wixi)
2023-04-30 20:42:36
168
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人