- 博客(39)
- 收藏
- 关注
RSS订阅原创 机器学习周报第39周
与静态图像中的目标检测相比，视频中的目标检测由于图像质量下降而更具挑战性。许多以前的方法都通过链接视频中的相同对象以形成管状结构，并在管状结构中聚合分类得分，从而利用时间上下文信息。这些方法首先使用静态图像检测器来检测每帧中的对象，然后根据不同帧中对象框之间的空间重叠情况或预测相邻帧之间的对象移动情况，来链接这些检测到的对象。在本文中，我们专注于获得高质量的对象链接结果以实现更好的分类。与以前通过检查相邻帧之间的框来链接对象的方法不同，我们建议在同一帧中链接。
2024-04-28 16:45:17
808
原创 机器学习周报第38周
在目标检测中，基于关键点的方法经常会遇到大量错误对象边界框的问题，这可能是由于在裁剪区域内缺乏额外的评估。本文提出了一种有效的解决方案，该方案以最小的成本探索个体裁剪区域内的视觉模式。我们的框架建立在具有代表性的单阶段基于关键点的检测器CornerNet之上。我们的方法，名为CenterNet，将每个对象检测为关键点的三元组，而不是点对，从而提高了精确度和召回率。因此，我们设计了两个定制模块，级联角点池化和中心池化，它们丰富了由左上角和右下角收集的信息，并提供了来自中心区域的更多可识别信息。
2024-04-21 15:59:12
1095
原创 机器学习周报第37周
目录一、文献阅读：You Only Look Once: Unified, Real-Time Object Detection1.1 摘要1.2 背景1.3 论文模型1.4 网络设计1.5 YOLO的局限性1.6 实现代码一、文献阅读：You Only Look Once: Unified, Real-Time Object Detection1.1 摘要YOLO是一种新的目标检测方法。先前的目标检测工作使用分类器来执行检测。相反，我们将目标检测框定为空间分离的边界框和相关类概率的回归问题。单个神经
2024-04-14 10:26:10
936
原创 机器学习周报第36期
与静态图像中的目标检测相比，视频中的目标检测由于图像质量下降而更具挑战性。许多以前的方法都通过链接视频中的相同对象以形成管状结构，并在管状结构中聚合分类得分，从而利用时间上下文信息。这些方法首先使用静态图像检测器来检测每帧中的对象，然后根据不同帧中对象框之间的空间重叠情况或预测相邻帧之间的对象移动情况，来链接这些检测到的对象。在本文中，我们专注于获得高质量的对象链接结果以实现更好的分类。与以前通过检查相邻帧之间的框来链接对象的方法不同，我们建议在同一帧中链接。
2024-04-06 08:56:27
1295
原创 机器学习周报第35期
YOLO是一种新的目标检测方法。先前的目标检测工作使用分类器来执行检测。相反，我们将目标检测框定为空间分离的边界框和相关类概率的回归问题。单个神经网络在一次评估中直接从完整图像中预测边界框和类别概率。由于整个检测管道是一个单一的网络，因此可以直接对检测性能进行端到端的优化。YOLO的统一架构速度极快。我们的基础YOLO模型以每秒45帧的速度实时处理图像。该网络的一个较小的版本，快速YOLO，每秒处理一个惊人的155帧，同时还实现了其他实时探测器的mAP的两倍。
2024-03-31 09:08:29
790
原创 机器学习周报第34周
一个卷积神经网络主要由以下5层组成：数据输入层/ Input layer卷积计算层/ CONV layerReLU激励层 / ReLU layer池化层 / Pooling layer全连接层 / FC layer数据输入层该层要做的处理主要是对原始图像数据进行预处理，其中包括：去均值：把输入数据各个维度都中心化为0，如下图所示，其目的就是把样本的中心拉回到坐标系原点上。
2024-03-24 20:42:39
604
原创 机器学习周报第33周
本周学习了一篇基于STFGNNs的多变量时间序列预测的论文，论文的模型为DSTIGNN（动态时空交互图神经网络），主要包括如下四个模块：时空交互学习模块（Spatiotemporal Interactive Learning Module）、动态图推理模块（Dynamic Graph Inference Module）、动态图卷积模块（Dynamic Graph Convolution Module）以及输出模块（Output Module）。
2024-03-17 07:15:50
1327
原创 机器学习周报第32周
本周学习了多视角自注意力网络，在统一的框架下联合学习输入句子的不同语言学方面。具体来说，提出并利用多种诱导性偏差来规则化常规的注意力分配。然后通过混合注意力机制聚合不同的视图，以方便地量化和利用特定的视图及其相关的表示。Self-attention是一种在自然语言处理（NLP）和深度学习领域中广泛应用的机制。它允许模型关注输入序列中的不同部分，并根据这些部分生成输出。通过学习输入序列中不同位置之间的关系，self-attention可以帮助模型更好地理解输入并产生更有意义的输出。
2024-03-10 09:01:50
1063
1
原创 机器学习周报第31周
该论文提出了一个实时的模态自适应情感识别（MAER）系统，解决了现有面部表情识别系统在可靠性和实时操作方面的限制。该系统通过并行处理和模态自适应融合来改善情感识别的性能和可靠性。通过实时试验，该系统的准确性比仅使用外部信号（视频和音频）的情感识别高出33%。该系统能够推断出真实的情感，即使在内部和外部状态之间存在情感不匹配的情况下，通过给予真实情感信号更大的权重。该系统利用轻量级网络和可穿戴设备进行信号采集，实现了实时计算和实际应用。
2024-03-03 21:30:01
993
1
原创 机器学习周报第30周
准确的光伏功率预测正在成为将光伏电站并入电网、调度和保障电网安全的强制性任务。本文提出了一种利用LSTM-TCN预测光伏功率的新模型。它由长短期记忆和时间卷积网络模型之间的组合组成。LSTM用于从输入数据中提取时态特征，然后与TCN结合，在特征和输出之间建立连接。所提出的模型已使用包含测量光伏功率的历史时间序列的数据集进行了测试。然后，在不同季节、时段预报、多云、晴朗和间断性天气下，与LSTM和TCN模型的精度进行了比较。对于一步预测，结果表明，所提出的模型优于LSTM和TCN模型。
2024-01-28 10:02:25
1373
1
原创 机器学习周报第29周
本周学习了多视角自注意力网络，在统一的框架下联合学习输入句子的不同语言学方面。具体来说，提出并利用多种诱导性偏差来规则化常规的注意力分配。然后通过混合注意力机制聚合不同的视图，以方便地量化和利用特定的视图及其相关的表示。Self-attention是一种在自然语言处理（NLP）和深度学习领域中广泛应用的机制。它允许模型关注输入序列中的不同部分，并根据这些部分生成输出。通过学习输入序列中不同位置之间的关系，self-attention可以帮助模型更好地理解输入并产生更有意义的输出。
2024-01-21 19:23:19
986
1
原创 机器学习周报第28周
本周阅读了一篇混沌时间序列预测的论文，论文模型主要使用的是时间卷积网络（Temporal Convolutional Network，TCN）、LSTM以及GRU。在数据集方面除了使用现实的时间序列数据外，还通过若干混沌系统生成了一些混沌的时间序列数据，这些数据没有现实方面的意义，但可以用来证明论文模型的实用性。因为混沌时间序列在现实世界普遍存在，例如水质，股票，天气等，所以论文模型也有运用于预测的潜力。
2024-01-14 16:43:08
1170
2
原创 机器学习周报第27周
本周阅读了一篇混沌时间序列预测的论文，论文模型主要使用的是时间卷积网络（Temporal Convolutional Network，TCN）、LSTM以及GRU。在数据集方面除了使用现实的时间序列数据外，还通过若干混沌系统生成了一些混沌的时间序列数据，这些数据没有现实方面的意义，但可以用来证明论文模型的实用性。因为混沌时间序列在现实世界普遍存在，例如水质，股票，天气等，所以论文模型也有运用于水质预测的潜力。
2024-01-07 15:00:07
1219
原创 机器学习周报第26周
本周学习了简化attention计算量的一些方法，包括Local Attention、Stride Attention、Global Attention、Clustering、Learnable pattern、(V*K)*Q以及Synthesizer。这些方法有些是从减少Attention Matrix的计算量入手，有些是从改变Attention的矩阵相乘顺序入手，还有一些甚至完全抛弃矩阵乘法直接由机器学习attention。
2023-12-30 20:33:08
976
2
原创 机器学习周报第25周
本周初步学习了GAN的一些基本知识，包括如何将神经网络作为生成器来产生满足需要的分布的输出，以及为什么需要让神经网络按照需要的分布进行输出。同时还学习了GAN的一些基本概念和原理，了解了GAN实现的目标和算法过程。最后使用代码实现了一个GAN的应用。本周还阅读了一篇关于水质预测的文章，该文章使用BiGRU作为基础模型，同时结合了EWT数据分解和FCM聚类方法。
2023-12-24 05:00:00
743
原创 机器学习周报24周
本周开启了Transformer的学习，初步理解了Transformer编码器的原理以及解码器自回归的解码方式，基于所学的基本原理，实现了一个简单的Transformer编码器，输出的结果为编码器输出张量的形状。本周还阅读了一篇基于Transformer的论文，了解了一种新的基于Transformer的预测模型TFT，还了解了一种新的超参数优化方式：自适应差分进化算法。
2023-12-17 10:11:20
845
原创 机器学习周报第23周
在深度学习中，卷积神经网络（CNN）是一种被广泛应用于图像处理和其他领域的神经网络架构。卷积层、池化层以及适当的填充和步长设置是构建有效的CNN模型的关键组成部分。本文将讨论这些概念，特别是涉及到填充、卷积步长和池化层的影响。在卷积操作中，填充是在输入数据周围添加额外的值，以便保持特征图的大小。填充有助于防止特征图尺寸的过度减小，确保在卷积过程中保留输入图像的边缘信息。适当的填充可以改善模型的性能，特别是在网络的边缘部分。步长定义了卷积核在输入上滑动的步长。
2023-12-10 15:53:15
854
原创 机器学习周报第22周
边缘检测是计算机视觉中一项基础而重要的任务，其目标是识别图像中的物体边界或显著特征。该技术在图像处理、目标检测和图像分割等领域具有广泛应用。本文着重介绍了计算机视觉中的边缘检测技术，重点探讨了一些经典的方法和算法。边缘检测在计算机视觉中扮演着至关重要的角色，有助于提取图像中的关键信息。传统的边缘检测方法包括Sobel、Canny等经典算法，它们基于梯度或滤波器的操作，能够有效地识别图像中的边缘。
2023-12-03 10:23:18
791
原创 机器学习周报21周
本研究提出了一种名为SAN-CS的自注意力联合表示学习模型，用于代码搜索。通过利用自注意力网络构建代码搜索模型，SAN-CS能够充分捕捉代码片段和描述的上下文信息，并建立它们之间的语义关系。实验结果表明，SAN-CS在性能和执行效率方面优于现有模型。本文提出了一种基于自注意力网络的代码搜索模型SAN - CS。不同于使用LSTM或CNN，我们首先直接使用自注意力网络来表示代码片段及其查询，然后使用联合表示网络对代码和查询向量进行额外的联合表示。
2023-11-26 15:43:16
813
原创 机器学习周报第20周
词嵌入是自然语言处理领域中的一项重要技术，它通过将词语映射到实数向量空间中，实现了对语义信息的有效表示。情感分类是NLP中的一个常见任务，旨在识别文本中的情感倾向。这篇摘要将关注于如何利用词嵌入技术来提升情感分类的性能。在词嵌入方面，我们将介绍诸如Word2Vec、GloVe等经典的词嵌入模型，以及最近流行的预训练语言模型（如BERT、GPT）对词嵌入的演进。这些模型通过学习上下文相关的词向量，使得它们更好地捕捉了词语之间的语义关系，为情感分类任务提供了更丰富的特征表示。
2023-11-19 13:41:31
37
原创 机器学习周报第19周
剪枝和量化技术是深度学习中常用的模型优化方法，而长短时记忆网络（LSTM）则是一种有效处理序列数据的循环神经网络。这篇摘要将聚焦于如何在LSTM模型中应用剪枝和量化技术，以提高模型的效率和减小资源消耗。在剪枝方面，我们探讨了通过去除LSTM模型中不必要的神经元或连接来减小模型规模的方法。通过精心设计的剪枝算法，可以在保持模型性能的同时显著减小模型的参数量，加速推理过程，并使其更适用于嵌入式设备等资源受限的场景。
2023-11-12 20:56:51
57
原创 机器学习周报第十八周
知识蒸馏是一种模型压缩技术，通常用于将大型、复杂的神经网络压缩成小型、高效的模型。这通过在大型教师模型的输出上训练小型学生模型来实现。知识蒸馏通过传输教师模型的“知识”或输出概率分布到学生模型，从而提高学生模型的性能和泛化能力。剪枝是一种神经网络优化技术，旨在减小模型的大小和计算复杂度，同时保持性能。通过剪除不必要的神经元或连接，剪枝可以精简模型，减小存储和计算需求，同时保持模型的预测性能。量化是将神经网络的权重和激活从浮点数转换为更低位宽度的整数或定点数的过程。
2023-11-05 19:18:45
91
1
原创 机器学习周报第十七周
注意力机制是一种模仿人类注意力机制的方法，它允许神经网络在处理序列数据时重点关注相关元素，并忽略不相关的部分。这一思想在自然语言处理中得到了广泛应用，它使得模型能够更好地理解语言结构和语义关系。Transformer 是一种深度学习模型，引入了自注意力机制，它是处理序列数据的重要工具。Transformer 的创新之一是自注意力机制，它允许模型同时处理输入序列的不同位置，从而更好地捕捉长距离的依赖关系。这一模型在机器翻译、文本生成和语言理解等任务中表现出色。
2023-10-22 16:49:11
56
1
原创 机器学习周报第十六周
词嵌入、序列到序列模型（Seq2Seq）以及注意力机制是深度学习中的三个重要组成部分，它们共同推动了自然语言处理的发展。词嵌入是将文本数据映射到低维向量空间的技术，使得计算机能够更好地理解和处理文本数据。Seq2Seq模型引入了编码器-解码器结构，可以处理序列到序列的任务，如机器翻译和文本摘要生成。而注意力机制则允许模型在处理长序列时关注输入序列的不同部分，从而提高了模型的性能和泛化能力。词嵌入为自然语言处理提供了有效的文本表示方法，使得模型能够更好地处理文本数据。
2023-10-15 21:44:31
55
1
原创 机器学习周报第15周
RNN是一种经典的循环神经网络，具有简单的结构。它适用于处理短序列数据，但在处理长序列时可能会面临梯度消失或梯度爆炸问题。RNN的主要问题是不能捕捉长距离依赖关系，因为它们只能考虑当前时刻的输入和前一时刻的隐藏状态。GRU（门控循环单元）：GRU是一种改进的循环神经网络，具有较简单的结构。它通过门控机制来控制信息的流动，包括更新门和重置门，从而减轻了梯度消失问题。GRU相对于标准RNN更易于训练，同时在某些任务上表现出色。LSTM（长短时记忆网络）：LSTM是一种强大的循环神经网络，具有更复杂的结构。
2023-10-08 21:36:12
44
1
原创 机器学习周报第十四周
深层神经网络模型和循环神经网络（RNN）是深度学习中的两个关键组成部分，但它们都面临着一些挑战。为了不断提高这些模型的性能，研究人员提出了各种改善方法。对于深层神经网络，这些方法包括使用更深的层次结构，引入残差连接，批次归一化和不同类型的激活函数，以应对梯度消失和过拟合等问题。而在RNN中，改进的方法涵盖了长短时记忆网络（LSTM）和门控循环单元（GRU）等新的结构，以及双向RNN和注意力机制等技术，以捕捉序列数据中的长距离依赖性和提高模型的性能。
2023-10-01 15:42:44
59
原创 机器学习周报第十三周
深层神经网络代表了深度学习领域的重要进展，但它们也面临一些挑战，如梯度消失和过拟合。为了克服这些问题，研究人员提出了多种改善神经网络的方法。其中包括使用更深的网络结构、引入激活函数、批次归一化以及使用更好的初始化策略等。这些方法的共同目标是提高模型的性能和训练稳定性，使其能够更好地适应各种复杂任务。改善神经网络的方法不仅对学术界有重要意义，还在实际应用中产生了巨大影响，推动了深度学习技术的发展。深层神经网络是深度学习的重要组成部分，但它们在训练过程中可能会遇到一些问题。
2023-09-24 19:23:54
102
1
原创 机器学习周报第十二周
浅层神经网络和深度神经网络代表了神经网络在深度学习中的两个重要范畴，它们有着不同的结构和特点。浅层神经网络通常指的是只包含少数隐藏层的神经网络。这些网络的结构相对简单，参数较少。浅层网络适用于一些简单的任务，如线性回归或二分类问题。由于网络规模较小，训练和推理速度较快，因此在资源有限或需要快速响应的场景中具有优势。深度神经网络则是指包含多个隐藏层的神经网络。这些网络结构更加复杂，可以用来处理大规模和高维度的数据以及复杂的特征表示。
2023-09-17 20:50:12
74
1
原创 机器学习周报第十一周
生成器（Generator）和鉴别器（Discriminator）是深度学习中的两个重要组件，它们在生成对抗网络（GAN）中起着关键作用。生成器旨在生成与真实数据分布相似的合成数据，而鉴别器则负责区分真实数据和生成器生成的数据。GAN的目标是通过不断的博弈过程，使生成器生成的数据变得越来越逼真，以至于鉴别器难以区分真伪。Wasserstein GAN（WGAN）是GAN的一个变种，它引入了Wasserstein距离作为损失函数，用于衡量生成数据与真实数据分布之间的距离。
2023-08-27 09:17:16
100
1
原创 机器学习周报第十周
Transformer是一种重要的深度学习模型，已在自然语言处理、图像处理等领域取得了显著成就。它引入了自注意力机制，通过自动学习输入序列中各个元素之间的关联性，实现了长距离依赖关系的建模。Transformer由编码器和解码器组成，每个模块都包含多头自注意力和前馈神经网络。Transformer的解码器模块是在生成输出序列时起作用的关键部分。解码器负责逐步生成目标序列中的每个元素，并在每个时间步骤中生成一个新的标记。self-attention也可以通过很多方法来加速计算。
2023-08-13 19:30:00
64
1
原创 机器学习周报第九周
RNN通过引入门控机制（如LSTM和GRU）来解决梯度消失和梯度爆炸问题。通过LSTM可以在时间步骤中保存和更新重要信息，同时抑制不重要的信息，从而减缓梯度的变化，有效地解决了梯度消失和梯度爆炸问题。Transformer是一种基于注意力机制的模型，特别适用于处理序列数据。它采用了编码器-解码器结构，其中编码器部分负责将输入序列编码为特征表示，解码器部分负责将特征表示转换为输出序列。Transformer的编码器由多层的自注意力层和全连接前馈层组成。
2023-08-06 19:02:17
75
原创 机器学习周报第八周
传统RNN具有反馈连接，可以将当前时间步的隐藏状态传递到下一个时间步，以捕捉序列数据中的时间依赖关系。LSTM是一种改进的循环神经网络，引入了输入门、遗忘门和输出门的机制。输入门决定了当前时间步的输入信息中哪些部分应该被记忆单元所记录，遗忘门控制着上一个时间步的记忆是否被保留，输出门控制着当前时间步的隐藏状态中哪些记忆会被激活并输出。通过这些门的控制，LSTM可以选择性地将重要的信息保留在记忆单元中，并有效地捕捉长期的依赖关系，从而提高了对复杂序列数据的建模能力。
2023-07-30 19:30:00
67
1
原创 机器学习周报第七周
自注意力机制是一种在深度学习中广泛应用的注意力机制，主要用于处理序列数据和自然语言处理任务。它通过自动学习输入序列中不同元素之间的关联性，从而捕捉长距离的依赖关系和重要特征。自注意力机制的过程是将输入序列中的每个元素表示成三个部分：查询（Query）、键（Key）和值（Value）。然后，通过计算查询与键之间的相似度，得到注意力权重。最后，根据注意力权重对值进行加权求和，得到输出序列。多头自注意力是对自注意力的改进，通过使用多个独立的注意力头来提高模型性能。
2023-07-23 16:55:50
64
原创 【机器学习周报第六周】
深度学习提供了一种解决“两难”问题的方法。通过深度学习模型，我们可以在相对较小的模型规模下学习和表示复杂的模式和特征。这使得我们能够从有限的、与完整数据集不完全相似的训练数据中获得较好的结果。深度学习的优势在于它能够自动从数据中学习到特征表示，并根据目标函数进行优化，而不需要手动定义特征或阈值。因此，深度学习为我们提供了一种解决理想与现实之间差距的方法。通过适当选择模型规模和使用深度学习技术，我们可以在现实条件下获得较好的结果，同时避免过度拟合或无法找到适当阈值的问题。
2023-07-16 15:20:26
95
1
原创 李宏毅机器学习周报第五周
在做分类问题时，理想的情况是得到该类的所有的数据集，根据该数据集获得一个较好的阈值h。但是现实中找不到该分类所有的数据集，所以应尽可能找到与DallD_{all}Dall尽可能相似的优质训练集，来得到较好的结果。CNN是一种深度学习模型，广泛应用于图像识别、目标检测等计算机视觉任务。CNN通过卷积、池化和全连接等层的组合，能够从输入数据中提取和学习特征，并用于分类任务。CNN可以自动学习具有层级结构的特征表示，并通过反向传播和优化算法进行训练。
2023-07-09 19:00:00
115
1
原创 李宏毅机器学习周报第四周_Batch and momentum、Adaptive Learning Rate
小批次训练可以提高计算效率并更好地利用内存资源，但可能会引入一些随机性，影响模型的精确度。大批次训练可以减少随机性，但会增加内存消耗和计算时间。在训练的过程中需要权衡这些因素，并根据具体情况选择适当的批次大小。动量可以在优化过程中克服局部最小值和鞍点，加快收敛速度。通过在梯度更新中引入动量项，可以在参数空间中更快地探索并避免陷入不良的局部极值点。而自动调整学习率的方法解决训练困难的问题。通过根据损失函数的变化情况动态地调整学习率，在训练过程中更好地平衡收敛速度和模型性能。
2023-07-02 19:00:00
129
1
原创 李宏毅机器学习周报第三周_logistic regression、general guidance、when gredient is small
本周学习了逻辑回归，并且理解了逻辑回归与线性回归的区别。通过实例了解了生成模型和判别模型在不同场景下的适用性。针对多分类问题，学习了相应的处理方法。同时，也了解到了逻辑回归的一些限制。在机器学习任务中，当训练集的损失值较大时，需要考虑是模型偏差（model bias）还是陷入了局部最小值（local minima）。而在测试集上的高损失值可能表示过拟合或数据不匹配。在参数优化过程中，当梯度下降至微分为零时，可能是陷入了鞍点（saddle point），而局部最小值的出现较为罕见。
2023-06-25 18:33:11
261
原创 李宏毅机器学习周报第二周
本周，通过宝可梦的案例学习了回归问题和分类问题。在回归问题中，使用正则化来解决过拟合问题。并且用生成模型分析了分类问题。本周的学习重点是回归问题和分类问题，以宝可梦为案例进行了学习。在回归问题中，我们学习了使用正则化来解决过拟合问题的技巧。此外，我们还深入分析了分类问题。通过在宝可梦案例中的实践，我们对解决实际预测和分类挑战有了更深入的理解。通过了解如何处理过拟合问题和使用生成模型，我们掌握了构建准确且稳健的机器学习模型的关键知识。下周将学习逻辑回归问题等。
2023-06-18 19:00:00
447
2
原创 李宏毅机器学习周报第一周_初识机器学习和深度学习
本周学习了机器学习的基本概念以及机器学习的三个步骤，包括定义含有未知参数的函数，定义损失函数以及使用梯度下降法进行参数优化。并且学习了解决模型偏差的方法，以及神经网络的结构。最后学习了反向传播来更新参数。机器学习是一种人工智能领域的方法，通过使用计算机来寻找能够解决实际应用需求的复杂函数，这些函数往往难以由人类直接找到或明确定义。在语音识别领域中，计算机找到一个复杂的函数，将一段语音信号作为函数的输入，该函数的输出的输出就是这段语音的文字内容。在下图中，定义了一个函数ybwx1ybwx。
2023-06-11 18:30:48
182
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人