- 博客(36)
- 收藏
- 关注
RSS订阅原创 机器学习（36）
本周阅读了一篇关于多块和特征融合的图像去雾网络的论文。基于深度学习的去雾方法在图像去雾领域取得了显着进展，但大多数方法仍然存在去雾不完全和颜色失真的问题。为了解决这个问题，提出了一种基于多块和特征融合的图像去雾网络。该网络由预处理、特征提取、特征融合和后处理模块组成。预处理模块可以自适应地从补丁中提取图像特征信息。特征提取模块使用级联密集残差块来提取深层特征信息。特征融合模块对特征图进行通道加权和像素加权，实现主要特征的融合。后处理模块对融合后的特征图进行非线性映射，得到去雾图像。
2024-05-19 18:08:35
717
原创 机器学习（35）文献阅读Generative Adversarial Networks
本文主要讨论了生成式对抗神经网络。首先，本文介绍了生成式对抗网络的设计思路。在此基础下，本文阐述了GAN的网络结构以及训练过程。生成器与解释器相互迭代，随着更新，生成器的效果趋近于真实图片。其次，本文展示了题为Generative Adversarial Networks论文的主要内容。这篇论文提出了生成式对抗网络的网络结构以及训练过程，该模型填补了生成任务方面神经网络的空白。此外，这篇论文还从理论角度证明了生成器的数据分布能够达到全局最优以及训练算法的可收敛性。
2024-05-12 20:20:46
534
原创 机器学习（34）阅读文献gan
该文提出了名为对抗性生成模型的新框架。该框架同时训练两个模型：生成模型G提取数据分布特征，判别模型D分辨输入数据来自训练数据还是由G生成。G的训练过程时最大限度的提高D出错的概率。在文中实验通过对生成样本进行定性和定量评估，展示了该框架的潜力。
2024-05-05 22:48:16
720
原创 机器学习（文献阅读）
本文主要讨论SA ConvLSTM的模型。本文简要介绍了LSTM的结构以及运行逻辑，并展示了ConvLSTM。其次本文展示了题为Self-Attention ConvLSTM for Spatiotemporal Prediction的论文主要内容。这篇论文提出了Self-attention ConvLSTM模型，该模型将自注意力机制引入到 ConvLSTM 中。具体来说，提出了一种新颖的自注意力记忆（SAM）来记忆在空间和时间域方面具有远程依赖性的特征。
2024-04-28 19:55:56
815
原创 机器学习（32）
本文主要讨论SA ConvLSTM的模型。本文简要介绍了LSTM的结构以及运行逻辑，并展示了ConvLSTM。其次本文展示了题为Self-Attention ConvLSTM for Spatiotemporal Prediction的论文主要内容。这篇论文提出了Self-attention ConvLSTM模型，该模型将自注意力机制引入到 ConvLSTM 中。具体来说，提出了一种新颖的自注意力记忆（SAM）来记忆在空间和时间域方面具有远程依赖性的特征。
2024-04-21 19:34:32
872
原创 机器学习（31）PINN
本文主要讨论PINN。本文简要介绍了监督学习。其次本文展示了题为Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations的论文主要内容。该论文提出了一个深度学习框架，使数学模型和数据能够协同结合。
2024-04-14 19:11:50
1177
原创 机器学习（30）
文章目录摘要一、文献阅读1. 题目2. abstract3. 网络架构3.1 Sequence Generative Adversarial Nets3.2 SeqGAN via Policy Gradient3.3 The Generative Model for Sequences3.4 The Discriminative Model for Sequences(CNN)4. 文献解读4.1 Introduction4.2 创新点4.3 实验过程4.3.1 训练设置4.3.2 实验结果4.3.3 相关
2024-04-07 20:57:19
871
原创 ubuntu没网，无显卡驱动
sudo systemctl restart network-manager.service //重启网卡。sudo ifconfig ens33（这条指令测试好了之后我的OK了）ifconfig后只有一个lo，好像其他网卡驱动都没有启动一样。发现了需要的网卡驱动，但是却没有ip地址啥的。
2024-03-31 15:54:53
127
原创 机器学习（29）
文章目录Diffusion&Stable Diffusion扩散模型与稳定扩散模型摘要AbstractDiffusion Model扩散模型Forward Diffusion Process正向扩散过程噪声图像的分布封闭公式Reverse Diffusion Process反向扩散过程loss function损失函数Loss Function of VAE model VAE模型的损失函数本项可以忽略，由于可用Lt−1L_{t-1}Lt−1中相同神经网络进行拟合，且忽略使得样本质量更好实施kl
2024-03-31 15:54:02
453
原创 机器学习（27）
该文提出了名为对抗性生成模型的新框架。该框架同时训练两个模型：生成模型G提取数据分布特征，判别模型D分辨输入数据来自训练数据还是由G生成。G的训练过程时最大限度的提高D出错的概率。在文中实验通过对生成样本进行定性和定量评估，展示了该框架的潜力。
2024-03-24 16:15:40
852
原创 机器学习（26）回顾gan+文献阅读
本文主要讨论了生成式对抗神经网络。首先，本文介绍了生成式对抗网络的设计思路。在此基础下，本文阐述了GAN的网络结构以及训练过程。生成器与解释器相互迭代，随着更新，生成器的效果趋近于真实图片。其次，本文展示了题为Generative Adversarial Networks论文的主要内容。这篇论文提出了生成式对抗网络的网络结构以及训练过程，该模型填补了生成任务方面神经网络的空白。此外，这篇论文还从理论角度证明了生成器的数据分布能够达到全局最优以及训练算法的可收敛性。
2024-03-17 17:34:47
1105
原创 机器学习（25）文献阅读
本周阅读了一篇关于多块和特征融合的图像去雾网络的论文。基于深度学习的去雾方法在图像去雾领域取得了显着进展，但大多数方法仍然存在去雾不完全和颜色失真的问题。为了解决这个问题，提出了一种基于多块和特征融合的图像去雾网络。该网络由预处理、特征提取、特征融合和后处理模块组成。预处理模块可以自适应地从补丁中提取图像特征信息。特征提取模块使用级联密集残差块来提取深层特征信息。特征融合模块对特征图进行通道加权和像素加权，实现主要特征的融合。后处理模块对融合后的特征图进行非线性映射，得到去雾图像。
2024-03-10 20:52:50
1067
原创 文献阅读（二十四）
本周阅读了AlexNet 经典论文，AlexNet是一种深度卷积神经网络，由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton在2012年ImageNet图像分类竞赛中提出。其基本结构包括输入层、多个卷积层和池化层、全连接层以及输出层。其中，卷积层和池化层是交替进行的，卷积层用于提取图像特征，池化层则用于下采样，减少特征图的大小并增加模型的稳定性。全连接层用于将提取的特征与先验知识相结合，输出层则将网络输出转化为概率值，用于预测图像的类别。
2024-03-03 20:42:51
728
原创 文献阅读（二十三）
浓雾场景中，图像去雾非常具有挑战性，雾霾图像中保留的原始信息相当少。尽管以前的方法取得了巨大的进步，但它们在浓雾场景中仍然存在内容和颜色信息丢失的问题。最近出现的去噪扩散概率模型（DDPM）表现出强大的生成能力，显示出解决该问题的潜力。然而DDPM没有考虑去雾任务的物理特性，限制了其信息补全能力。在这项工作中，我们提出了 DehazeDDPM：一种基于 DDPM 和物理感知的图像去雾框架，适用于复杂的雾霾场景。具体来说，DehazeDDPM 分两个阶段工作。
2024-01-29 00:32:06
898
原创 文献阅读（二十二）
这周阅读了一种基于扩散模型的无噪声模型高光谱图像去噪方法论文，扩散模型是一种常用的图像去噪方法，它在去除噪声的同时保持图像的细节和边缘信息。无噪声模型高光谱图像去噪是指对高光谱图像进行去噪处理，以减少由于传感器噪声、环境干扰或其他因素引起的图像噪声。无噪声模型高光谱图像去噪的基本思想是通过对高光谱图像中的每个像素点进行扩散来减少噪声。扩散模型基于偏微分方程，使用图像的梯度信息来控制噪声的扩散过程。它通过将像素点的值与其周围像素点的差异进行比较，来决定噪声的传播方向和速率。
2024-01-21 14:26:20
1281
原创 文献阅读(二十一)
本周阅读了双多尺度去雾网络论文，Dual Multi-Scale Dehazing Network（DMDN）是一种用于图像去雾的深度学习网络。这个网络旨在处理受雾影响的图像，以提高图像的可见度和清晰度。去雾是计算机视觉领域中的一个重要任务，因为雾霾或大气散射会导致图像变得模糊和低对比度。DMDN 的设计采用了双重多尺度的结构，以更有效地捕捉图像中的各种细节和特征。它通常包含多个卷积神经网络（CNN）层，用于学习图像中的复杂模式和信息。通过在不同尺度上操作，DMDN能够更好地还原由雾霾引起的图像失真。
2024-01-14 18:52:35
914
原创 机器学习（二十）
剪枝和量化技术是深度学习中常用的模型优化方法，而长短时记忆网络（LSTM）则是一种有效处理序列数据的循环神经网络。这篇摘要将聚焦于如何在LSTM模型中应用剪枝和量化技术，以提高模型的效率和减小资源消耗。在剪枝方面，我们探讨了通过去除LSTM模型中不必要的神经元或连接来减小模型规模的方法。通过精心设计的剪枝算法，可以在保持模型性能的同时显著减小模型的参数量，加速推理过程，并使其更适用于嵌入式设备等资源受限的场景。
2024-01-07 12:59:31
887
1
原创 机器学习（复习自监督式学习）
本周学习了关于自监督式学习的内容，自监督式学习不需要外界提供有标签的资料，他的带标签的资料源于自身。BERT的预训练过程包括两个阶段：MLM和NSP，在MLM中，模型需要预测被遮盖的词语，从而学习到词语之间的关系。在NSP中，模型需要判断两个句子是否是连续的，从而学习到句子级别的语义关系。BERT的创新之处在于采用了双向上下文建模的方法，能够更好地理解上下文中的词语含义。自监督式学习是一种机器学习方法，其中模型从未标记的数据中自动学习表示。
2023-12-31 21:52:33
900
1
原创 文献阅读笔记（十八）文献阅读
本周阅读了AlexNet 经典论文，AlexNet是一种深度卷积神经网络，由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton在2012年ImageNet图像分类竞赛中提出。其基本结构包括输入层、多个卷积层和池化层、全连接层以及输出层。其中，卷积层和池化层是交替进行的，卷积层用于提取图像特征，池化层则用于下采样，减少特征图的大小并增加模型的稳定性。全连接层用于将提取的特征与先验知识相结合，输出层则将网络输出转化为概率值，用于预测图像的类别。
2023-12-24 19:23:39
988
1
原创 机器学习（17）
本周,我通读了论文《ImageNet Classification with Deep Convolutional Neural Networks》。该文献的主要贡献是构建了一个深层神经网络架构,该架构具有几点创新之处。第一,通过减少参数量来加速训练;第二,提出了几种避免过拟合的措施;第三,使用ReLU激活函数取代了tanh和softmax。另外,我还深入学习了CNN的原理。CNN通过卷积和池化等操作,逐步减小图像尺寸,从而大大减少了参数量。总体而言,本周对CNN进行了深入剖析,这个过程让我受益匪浅。
2023-12-17 19:36:44
49
1
原创 机器学习（16）GAN
在上周的学习中，明白了GAN的大概原理，不过没有具体写GAN背后的数学理论，这一篇尝试详细地推到一下GAN是怎么来的。生成器的目标是通过学习数据分布的潜在结构，生成逼真的样本。它接收一个随机噪声向量作为输入，并通过一系列的转换将其映射到数据空间。生成器的目标是最小化生成样本与真实样本之间的差异，通常使用生成样本与真实样本之间的损失函数来衡量。考虑一下，GAN到底生成的是什么呢？
2023-12-10 19:00:11
81
1
原创 机器学习（15）文献阅读+复习GAN
基于深度学习的去雾方法在图像去雾领域取得了显着进展，但大多数方法仍然存在去雾不完全和颜色失真的问题。为了解决这个问题，提出了一种基于多块和特征融合的图像去雾网络。该网络由预处理、特征提取、特征融合和后处理模块组成。预处理模块可以自适应地从补丁中提取图像特征信息。特征提取模块使用级联密集残差块来提取深层特征信息。特征融合模块对特征图进行通道加权和像素加权，实现主要特征的融合。后处理模块对融合后的特征图进行非线性映射，得到去雾图像。
2023-12-03 19:30:05
62
1
原创 机器学习（十四）生成对抗网络（GAN）
生成对抗网络其实是两个网络的组合：生成网络（Generator）负责生成模拟数据；判别网络Discriminator）负责判断输入的数据是真实的还是生成的。生成网络要不断优化自己生成的数据让判别网络判断不出来，判别网络也要优化自己让自己判断得更准确。二者关系形成对抗，因此叫对抗网络。 生成对抗网络(GAN, Generative adversarial network)自从2014年被Ian Goodfellow提出以来，掀起来了一股研究热潮。
2023-11-26 18:52:20
133
1
原创 机器学习（十三）卷积神经网络(CNN)详细公式推导
CNN 是为了识别二维形状而特殊设计的多层感知器, 对二维形状的缩放, 倾斜或其它形式的变形具有高度不变性. 每一个神经元从上一层的局部区域得到输入, 这迫使神经元提取局部特征. 一旦一个特征被提取出来, 它相对于其它特征的位置被近似保留下来, 而忽略掉精确的位置. 每个卷积层后面跟着一个池化, 使得特征图的分辨率降低, 而有利于降低对二维图形的平移或其他形式的敏感度.
2023-11-19 19:35:09
2984
原创 机器学习（十二）复习CNN
CNN的基本结构由输入层、卷积层（convolutional layer）、池化层（pooling layer，也称为取样层）、全连接层及输出层构成。卷积层和池化层一般会取若干个，采用卷积层和池化层交替设置，即一个卷积层连接一个池化层，池化层后再连接一个卷积层，依此类推。由于卷积层中输出特征图的每个神经元与其输入进行局部连接，并通过对应的连接权值与局部输入进行加权求和再加上偏置值，得到该神经元输入值，该过程等同于卷积过程，
2023-11-12 17:44:58
122
原创 机器学习（十一）
去噪扩散模型代表了计算机视觉领域的一个新兴主题，在生成建模领域展示了显着的成果。扩散模型是一种基于两个阶段的深度生成模型，即前向扩散阶段和反向扩散阶段。在前向扩散阶段，通过添加高斯噪声在几个步骤中逐渐扰动输入数据。在反向阶段，模型的任务是通过学习逐步反向扩散过程来恢复原始输入数据。扩散模型因其生成样本的质量和多样性而受到广泛赞赏，尽管其计算负担已知，即由于采样过程中涉及大量步骤而导致速度较低。推理出了diffusion模型的损失函数，从最小化对数似然，到优化变分下界，简化变分下界，得到最后目标，预测噪声。
2023-11-05 19:36:00
93
原创 机器学习（十）
去噪扩散模型代表了计算机视觉领域的一个新兴主题，在生成建模领域展示了显着的成果。扩散模型是一种基于两个阶段的深度生成模型，即前向扩散阶段和反向扩散阶段。在前向扩散阶段，通过添加高斯噪声在几个步骤中逐渐扰动输入数据。在反向阶段，模型的任务是通过学习逐步反向扩散过程来恢复原始输入数据。扩散模型因其生成样本的质量和多样性而受到广泛赞赏，尽管其计算负担已知，即由于采样过程中涉及大量步骤而导致速度较低。扩散过程的表述，即输入图像x0x_0x0,经过时间T个步骤，逐渐向其添加高斯噪声，我们将其称为前向过程。
2023-10-22 20:09:15
480
1
原创 机器学习（九）
这周学习了论文《Pyramid Diffusion Models for Low-light Image Enhancement》所需要前置知识，即扩散模型的数学原理和扩散模型的用途，对扩散模型进行手动的推理，下周将进一步去学习金字塔扩散模型和全局校正器。
2023-10-15 20:43:47
332
1
原创 机器学习（八）
Generative adversarial network（ 生成对抗网络）实际上是两个网络的结合。生成网络负责生成模拟数据。判别网络负责判断输入数据是真实的还是生成的。生成网络要不断优化它生成的数据，使判别网络不能对其进行判断，而判别网络也要优化自己，使其判断更加准确。两者之间的关系形成一种对抗，因此被称为对抗性网络。本周我将从学习Gans的基本思想和训练过程开始。GAN(Adversarial Generative Network,对抗生成网络)是想让机器自己生成东西。
2023-10-08 20:20:57
50
1
原创 机器学习（七）
本文以影像辩识为例，从三个观察介绍了CNN的多个概念，为了解决全连接方式解决影像辩识问题产生大量参数的问题，通过CNN的三种方法简化参数，并从两个方向介绍CNN以及CNN的全过程总结和应用。传统的CNN只能考虑感受野范围的信息，即只能考虑局部范围而没有考虑全局信息，此时如果使用很大的kernel size一次覆盖掉所有的输入，这种情况下的模型的参数量就会非常多，容易overfitting。除此之外，机器翻译的输入是长度不一的。
2023-09-24 17:01:26
58
1
原创 机器学习（6）
在梯度下降过程中，当梯度为0时，模型参数无法继续更新，这是由于此时梯度为0的点为局部最小点或鞍点，为了提高梯度下降计算效率，在进行梯度下降过程中，学习率是一个重要的参数，学习率的大小决定着模型训练的平滑程度和稳定性。本文也介绍了如何自动调整学习率，学习率会随着梯度的改变而改变。从而在各个情况下采用合适的学习率。
2023-09-17 17:35:39
89
1
原创 机器学习（5）
在机器学习训练模型中通过判断损失函数Loss值来衡量模型的好与坏，如果损失函数值过大，需要进一步优化模型。优化模型时，需要分析训练过程中所出现的问题，可能是由于 model bias，也可能是由于optimization做的不够好。而本文介绍了在各个情况下，该如何采取优化方法以及解决过拟合的方法。也介绍了一种模型评估方法，N-fold交叉验证帮助我们选择一个适中的模型，既不容易出现过拟合现象，也不会因为optimization做的不好，从而导致模型过差。
2023-09-10 19:29:47
66
1
原创 机器学习（4）
在神奇宝贝分类的案例中，发现采用训练数据和测试数据得出的预测准确性不同，为了解决这个问题，我们增加了模型的复杂度，但因为模型复杂产生了过拟合现象，我们为了解决这个问题，将两个类的不同ε1和ε2共用同一个ε，来降低过拟合现象。在分类问题中，由于线性回归是连续的线性函数，线性回归并不适用于解决分类问题。而解决分类问题需要采用逻辑回归。利用贝叶斯定理，将类条件概率和先验概率相乘，得到后验概率，从而对新数据进行分类。
2023-09-03 18:13:59
77
原创 机器学习（三）
通过预测宝可梦的CP值的案例分析回归模型。采用训练数据和测试数据得出的预测准确性有时候相差较大，解决此类问题通常是增加模型的复杂度，如果模型过于复杂也会产生过拟合，为了过拟合问题，我们也给出了正则化方法解决问题。用孙士华安舒损失函数 Loss function L ，来定义w和b的好坏。通过上述宝可梦案例的分析，我对梯度下降、过拟合、正则化有了深刻印象。同时我也深刻认识到，我对概率论数理统计的理论知识方面仍然存在很大的欠缺，下周将继续研究识别宝可梦种类的案例，进一步掌握概率生成模型。
2023-08-27 19:44:14
94
1
原创 机器学习周报（二）
再推导更复杂的模型的过程中，提出了深度学习的概念和深度学习的步骤。通过梯度下降算法中的问题——有些 Neural Network 中有非常多的参数，为了解决这个问题，提出了反向传播的概念和推导过程。我们通过正向传播得到神经网络计算的结果的误差值，采用反向传播求Loss对权重的梯度，以调整权重值降低误差，这样就能调整神经网络上的参数，提高模型的准确度。本周学习了反向传播、了解深度学习的层数也并非越深越好，还需要考虑到overfitting的问题。学习了反向传播的推导过程。
2023-08-20 22:37:12
62
1
原创 机器学习周报（一）
这周学习了机器学习的基本概念，包括什么是机器学习（Looking for Function），机器学习的任务（Regression、Classification、Structured Learning），机器如何寻找一个合适function，机器学习训练的3个步骤，linear model有局限性，求取sigmoid 函数的最佳参数。这一步是来解决，如何评估model未知参数（w，b）的好坏。
2023-08-13 16:27:15
172
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人