- 博客(100)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 深度学习基础：循环神经网络中的长期依赖问题
在循环神经网络中，信息的传递是通过时间步骤进行的，每个时间步骤的隐藏状态会受到上一步隐藏状态和当前输入的影响。然而，随着时间步的增加，信息会逐渐衰减，导致模型难以捕捉到远距离的依赖关系。这种问题在处理长序列数据时尤为突出，例如在自然语言处理任务中，处理长句子时往往会出现语义理解不准确的情况。长期依赖问题是循环神经网络中的一个重要挑战，但通过引入门控机制、增加网络深度等方法，我们能够有效地解决这个问题。在实际应用中，选择合适的模型结构和调参方法对于解决长期依赖问题非常重要。
2024-04-24 12:51:41
424
2
原创 深度学习基础：循环神经网络中的Dropout
Dropout是一种用于深度学习模型的正则化技术，旨在减少模型的过拟合。它的基本思想是在训练过程中，随机地将一部分神经元的输出置为零，从而减少神经元之间的相互依赖关系，降低模型对特定神经元的依赖性，提高模型的泛化能力。本文介绍了Dropout在深度学习中的基本概念和原理，以及在循环神经网络中如何使用Dropout来解决过拟合问题。通过一个简单的Python示例，我们演示了如何在PyTorch中实现带有Dropout的循环神经网络，并观察了训练过程中的损失变化。
2024-04-24 12:21:06
422
2
原创 深度学习基础——Seq2Seq框架在编码-解码过程中的信息丢失问题及解决方法
在Seq2Seq模型中，编码器将输入序列转换为一个固定长度的向量表示，然后解码器根据该向量表示生成输出序列。然而，由于编码器输出的向量长度固定且有限，可能会导致输入序列中的某些信息在编码过程中丢失，从而影响解码器的生成效果。具体来说，当输入序列较长或包含复杂结构时，编码器可能无法完全捕捉到序列中的所有重要信息，导致一部分信息在编码过程中丢失。这种信息丢失可能导致解码器无法正确地生成输出序列，从而影响模型的性能。本文介绍了深度学习基础中Seq2Seq框架在编码-解码过程中的信息丢失问题，并提出了解决方法。
2024-04-22 12:45:27
503
原创 深度学习基础——循环神经网络的结构及参数更新方式
循环神经网络是一种具有循环连接的神经网络结构，用于处理序列数据，如文本、时间序列等。其主要特点是可以将过去的信息传递到当前时间步，从而在处理序列数据时具有记忆性。
2024-04-22 11:13:03
848
原创 深度学习基础——卷积神经网络的基础模块
批归一化是一种用于神经网络中的技术，旨在减少训练过程中的内部协变量偏移，并且可以作为一个正则化项来降低网络的过拟合程度。通过对每个小批量输入进行归一化，使得网络的输入更加稳定，加快收敛速度，同时提高网络的泛化能力。
2024-04-20 22:54:06
699
原创 深度学习基础——卷积神经网络的感受野、参数量、计算量
在卷积神经网络中，感受野是指一个神经元对输入图像的感知范围。换句话说，它代表了一个神经元能够接收到的输入图像的区域大小。感受野的大小决定了神经元对输入图像的理解能力和特征提取能力。本文介绍了卷积神经网络的三个重要指标：感受野、参数量和计算量。通过定义和计算方法，可以更好地理解和评估深度学习模型的性能和复杂度。通过示例代码的实现和可视化展示，读者可以更直观地了解这些指标的计算过程和意义。在实际应用中，合理设计和优化网络结构可以有效提高模型的性能和效率。
2024-04-20 22:48:37
505
原创 计算机视觉与深度学习
计算机视觉（Computer Vision）是指利用计算机和相应的数字信号处理技术，对从现实世界中获取的图像和视频数据进行理解和分析的研究领域。而深度学习（Deep Learning）是机器学习的一个分支，通过多层神经网络模型学习数据的表示，实现对复杂模式和结构的学习。深度学习技术已经成为了计算机视觉领域的主要驱动力之一，通过深度学习方法可以自动学习到数据的特征表示，从而大大提高了计算机视觉任务的准确性和效率。本文介绍了计算机视觉与深度学习的关联，以及深度学习在计算机视觉中的应用。
2024-04-17 12:24:30
514
原创 深度学习基础——残差神经网络（ResNet）
残差神经网络（ResNet）是一种深度神经网络结构，由微软研究院的Kaiming He等人于2015年提出。它通过引入残差块（Residual Block）来解决深度神经网络的退化问题，使得网络可以更深地进行训练。ResNet在ImageNet图像识别挑战赛上取得了第一名的成绩，并在许多领域取得了显著的成功应用。
2024-04-17 12:16:47
1137
原创 深度学习基础——计算量、参数量和推理时间
计算量（FLOPs）：指的是在模型的前向传播过程中进行的浮点运算的数量。FLOPs越多，说明模型的计算复杂度越高，需要更多的计算资源来完成推理任务。参数量（Params）：指的是模型中需要学习的参数的数量。参数量越多，模型的表达能力越强，但也容易导致过拟合和计算负担。推理时间（FPS）：指的是模型在推理阶段处理一个样本所需的时间，通常以每秒处理的样本数来衡量模型的推理速度。FPS越高，说明模型的推理效率越高。计算量、参数量和推理时间是评估深度学习模型性能和效率的重要指标。
2024-04-13 17:21:57
512
原创 机器学习——模型评价
模型评价是机器学习中至关重要的一环，它能够帮助我们全面理解和评估模型的性能，为模型的改进和优化提供指导。在选择合适的评价方法时，需要根据具体问题和数据特点进行综合考虑，综合利用不同的评价指标，以全面客观地评价模型的性能。通过本文的介绍和示例代码，希望读者能够更加深入地理解模型评价的概念、方法和应用。
2024-04-13 17:10:00
1064
原创 机器学习——模型融合：Blending算法
在机器学习领域，模型融合（Ensemble Learning）是一种强大的技术，通过结合多个模型的预测结果来提高模型性能。Blending算法是模型融合的一种常见方法，它利用一个或多个基本模型进行预测，然后使用另一个模型（元模型）将这些基本模型的预测结果结合起来。在本文中，将介绍Blending算法的核心思想、基本流程、常见的Blending方法以及其优缺点，并用Python实现一个简单的Blending算法，并通过可视化展示结果。
2024-04-11 12:46:13
824
原创 机器学习——模型融合：Stacking算法
Stacking算法是一种强大的模型融合技术，通过组合多个基本分类器的预测结果来提高整体的预测性能。它可以灵活地选择不同的初级学习器和次级学习器，并且可以提高模型的泛化能力和鲁棒性。然而，Stacking算法也有一些缺点，例如训练时间较长，对初级学习器的选择和参数调优要求较高等。在实际应用中，需要根据具体的问题和数据集来选择合适的Stacking方法，并进行适当的调优工作。
2024-04-11 12:39:22
1215
原创 机器学习——模型融合：Boosting算法
Boosting算法通过组合多个弱学习器来构建一个强学习器，能够提高模型的泛化能力。常见的Boosting方法包括AdaBoost、Gradient Boosting、XGBoost、LightGBM和CatBoost等。Boosting方法在实际应用中取得了很好的效果，但也需要注意训练时间较长和对异常值敏感等缺点。
2024-04-09 14:05:02
975
原创 机器学习——模型融合：Bagging抽样法
模型融合是一种集成学习方法，通过结合多个模型的预测结果来提高整体模型的性能和鲁棒性。它是一种常见的机器学习策略，被广泛应用于分类、回归等问题中。模型融合的基本思想是利用多个模型的优势互补，通过集成它们的预测结果来获得更准确、更稳定的预测。Bagging抽样法是一种有效的模型融合方法，通过对训练数据的随机抽样和组合，能够提高集成模型的性能和泛化能力。它通过引入随机性来减小模型之间的相关性，从而降低了集成模型的方差，并且能够有效地捕获数据的复杂性。
2024-04-09 08:29:09
911
原创 机器学习——模型融合：平均法
模型融合是指将多个基本模型的预测结果进行合并，得到最终的预测结果。模型融合通常在机器学习竞赛和实际项目中广泛应用，例如Kaggle竞赛中常见的集成学习技术。模型融合的核心思想是“三个臭皮匠，顶个诸葛亮”，通过组合多个模型的优点，来弥补单个模型的缺点，从而提高整体预测的性能。本文介绍了模型融合中的一种简单而有效的方法：平均法。平均法通过对多个基本模型的预测结果进行加权平均来得到最终的预测结果，能够降低预测的方差，提高模型的鲁棒性，并在一定程度上提高预测的准确性。
2024-04-07 08:57:44
1394
原创 机器学习——典型的卷积神经网络
本文介绍了三种典型的卷积神经网络：LeNet-5、AlexNet和ResNet。这些网络在图像分类、目标检测和语义分割等计算机视觉任务中取得了巨大成功。它们的设计思想和结构各不相同，但都为深度学习在图像处理领域的发展做出了重要贡献。
2024-04-04 23:04:59
669
原创 机器学习——卷积神经网络的反向传播算法
本文介绍了卷积神经网络的反向传播算法，包括汇聚层、卷积层以及反向传播算法的基本概念和步骤，并通过Python实现了简单的反向传播算法。反向传播算法是训练卷积神经网络的关键步骤之一，掌握其原理和实现方法对深度学习的学习和应用具有重要意义。
2024-04-03 09:03:36
927
原创 概率论基础——拉格朗日乘数法
拉格朗日乘数法是解决带约束条件的优化问题的重要方法之一。通过引入拉格朗日乘子，我们可以将原始问题转化为无约束问题，并通过求解新的拉格朗日函数的极值点来得到原始问题的解。然而，拉格朗日乘数法并不保证得到全局最优解，因此在实际应用中需要结合其他方法进行优化。
2024-04-02 09:27:53
2150
1
原创 机器学习——卷积神经网络中的其他类型
卷积神经网络（Convolutional Neural Networks, CNNs）是深度学习领域中最重要的技术之一，它在图像处理、语音识别、自然语言处理等领域取得了巨大成功。在CNN中，卷积层是最核心的组成部分之一，而卷积操作又有许多不同类型，本文将重点介绍其中的两种特殊类型：空洞卷积和转置卷积。
2024-04-02 08:34:38
1429
1
原创 机器学习——卷积的变种
卷积神经网络（Convolutional Neural Networks, CNNs）是深度学习领域中最重要的技术之一，它在图像处理、语音识别、自然语言处理等领域取得了巨大成功。在CNN中，卷积层是最核心的组成部分之一，而卷积操作有许多不同的变种，本文将简单介绍窄卷积、宽卷积和等宽卷积这三种常见的卷积变种。
2024-04-01 09:01:21
620
原创 机器学习——卷积基础
本文介绍了卷积的基本概念、组成部分和方法，并通过Python示例代码演示了简单的卷积操作。卷积在机器学习中有着广泛的应用，特别是在图像处理和深度学习领域，对理解卷积的原理和应用场景有助于更深入地理解机器学习算法。
2024-04-01 08:51:10
690
原创 机器学习—— PU-Learning算法
在本篇博客中，简单介绍了PU-Learning算法的基本概念、基本流程和基本方法，并简单讨论了Two-step PU Learning算法和无偏PU Learning算法的具体流程。通过示例代码，展示了如何用Python实现一个简单的PU-Learning分类器。PU-Learning是解决类别不平衡问题的有效方法，在实际应用中具有广泛的应用前景。
2024-03-31 08:19:39
1208
原创 机器学习——降维算法-奇异值分解（SVD）
本文介绍了奇异值分解（SVD）作为一种常用的降维算法，其原理、应用、以及优缺点。SVD能够提取数据集的主要特征，实现数据的降维处理，但也存在一些计算复杂度高的缺点。最后通过Python实现了一个简单的SVD算法示例，展示了奇异值分解的基本过程。在实际应用中，我们可以根据具体情况选择合适的降维方法来处理数据。
2024-03-31 08:11:42
1043
原创 机器学习——降维算法-线性判别分析（LDA）
本文介绍了LDA算法的理论基础、算法过程、优缺点，以及与PCA算法的区别与联系。LDA算法能够有效地提取数据集的主要特征，并保留了数据集的类别信息，在某些情况下可以更好地适用于分类任务。通过Python实现了一个简单的LDA算法示例，展示了LDA的基本原理和应用。在实际应用中，我们可以根据具体问题的需求选择合适的降维方法来处理数据。
2024-03-29 08:44:56
799
原创 机器学习——降维算法-主成分分析（PCA）
本文介绍了PCA算法的过程、理论基础、以及优缺点。PCA能够有效地提取数据集的主要特征，实现降维处理，但也存在一些缺点。最后通过Python实现了一个简单的PCA算法示例，展示了PCA的基本原理和应用。在实际应用中，我们可以根据具体情况选择合适的降维方法来处理数据。
2024-03-29 08:44:27
760
原创 机器学习——聚类算法-DBSCAN
DBSCAN算法是一种基于密度的聚类算法，能够发现任意形状的簇，并能有效处理噪声数据。本文介绍了DBSCAN算法的核心概念、算法流程、优缺点、与KMeans算法的对比以及工作原理，并通过Python实现了一个简单的DBSCAN算法示例。DBSCAN算法在实际。
2024-03-28 09:08:24
713
原创 机器学习——聚类算法-KMeans聚类
KMeans聚类是一种常用的无监督学习算法，通过迭代计算样本的簇心和样本的簇分配，将样本划分为不同的簇。本文介绍了KMeans算法的原理、流程、聚类质量评价方法、优缺点以及KMeans++算法，并通过Python实现了一个简单的KMeans聚类算法示例。KMeans聚类算法可以应用于许多领域，如数据分析、模式识别和图像分割等。
2024-03-28 09:07:23
1054
原创 机器学习——聚类算法-层次聚类算法
层次聚类算法是一种无需预先指定簇数的聚类方法，它通过计算样本之间的相似度来构建聚类树，从而得到样本之间的聚类关系。本文介绍了层次聚类算法的原理、步骤以及Python实现的示例代码。通过层次聚类算法，可以对数据集进行探索性分析，发现数据中的内在结构和模式。
2024-03-27 08:55:07
663
原创 机器学习——LightGBM算法
LightGBM是一种基于梯度提升框架的机器学习算法，由微软团队开发。相比于传统的梯度提升决策树（GBDT）算法，LightGBM具有更高的训练效率和更低的内存消耗，尤其适用于大规模数据集。LightGBM的目标函数包括损失函数和正则项，通过梯度提升算法来优化目标函数，求得最优的模型参数。
2024-03-27 08:52:35
1301
原创 时序信号高低频分析——EMD和EEMD对比
EMD和EEMD是两种常用的时序信号分解方法，它们在信号处理和特征提取中具有重要的应用价值。EMD是一种自适应的分解方法，但在处理非平稳信号时可能出现模态混叠问题，而EEMD通过引入随机噪声的方法解决了这个问题，得到了更稳定和可靠的结果。因此，在实际应用中，可以根据信号的特性和要求选择合适的分解方法。
2024-03-26 12:21:24
1361
原创 时序信号高低频分析——经验模态分解EMD
EMD作为一种数据驱动的信号分解方法，具有很好的自适应性和适用性，适用于各种非线性和非平稳信号的分析。通过将原始信号分解为多个IMFs，EMD能够将信号的各种振动模式分离出来，从而更好地理解信号的特性和行为。在实际应用中，EMD常被用于信号处理、振动分析、生物医学工程等领域，为数据分析和特征提取提供了有力的工具。
2024-03-26 12:16:06
389
原创 机器学习——随机森林
随机森林是一种强大的集成学习算法，通过对决策树进行Bagging和随机特征选择，能够有效地提高模型的性能和泛化能力。在实际应用中，随机森林通常表现出色，且不需要太多的调参，是一个十分实用的机器学习算法。
2024-03-25 21:55:04
798
原创 机器学习——XGBoost算法
XGBoost采用决策树作为基本学习器。决策树是一种树形结构，每个非叶子节点表示一个特征属性的测试，每个分支代表一个测试结果，每个叶子节点代表一种类别或者数值。XGBoost的目标函数由损失函数和正则化项组成。其中，正则化项用于控制模型的复杂度，避免过拟合。常用的正则化项包括L1正则化和L2正则化。XGBoost算法是一种高效且灵活的机器学习算法，通过优化目标函数的定义和求解、结点分裂算法、缺失值处理和算法系统层优化等方面的改进，实现了更高的预测性能和更快的训练速度。
2024-03-25 21:54:29
526
原创 机器学习——GBDT算法
本文介绍了梯度提升树（Gradient Boosting Decision Trees，GBDT）算法的原理、算法流程、理论公式，并与随机森林进行了对比。梯度提升树是一种基于决策树的集成学习方法，通过迭代地训练决策树来不断提升模型性能。相比于随机森林，梯度提升树是一种串行技术，每个决策树都在尝试修正前一棵树的残差，因此在某些情况下可能会更加灵活和有效。通过Python实现了梯度提升树算法，并在鸢尾花数据集上进行了模型训练和评估。
2024-03-24 11:41:48
776
原创 机器学习——AdaBoost算法
AdaBoost算法是一种强大的集成学习算法，通过迭代地训练一系列弱分类器，并对错误分类样本进行更多关注，从而提高模型的性能。相比于随机森林，AdaBoost更加关注错误分类样本，适用于处理具有较高偏差的数据集。在实践中，可以根据数据集的特点和问题的要求选择合适的集成学习算法。
2024-03-24 11:41:07
913
原创 机器学习——决策树剪枝算法
本篇博客介绍了决策树的剪枝算法，包括预剪枝和后剪枝两种方法，以及决策树的损失函数（目标函数）。通过Python实现了预剪枝和后剪枝算法，并在相同的数据集上进行了比较。预剪枝通过限制决策树的生长来防止过拟合，但可能会导致欠拟合。后剪枝是在决策树生成完成后，通过一定的方法对决策树进行剪枝，可以更好地提高模型的泛化能力。在实际应用中，需要根据具体问题的特点和数据集的情况选择合适的剪枝算法，并通过调参来优化模型性能。
2024-03-23 06:46:43
896
原创 机器学习——决策树节点生成算法
ID3算法：ID3算法是一种基于信息增益的决策树节点生成算法，它简单易懂，但不能处理连续特征和样本缺失值，且对于类别较多的特征容易产生过拟合。C4.5算法：C4.5算法是ID3算法的改进版，它解决了ID3算法的不足，可以处理连续特征和样本缺失值，同时引入了信息增益率准则和剪枝操作来降低过拟合风险。CART算法：CART算法既可以用于分类问题，也可以用于回归问题，具有更广泛的适用性。CART算法采用基尼指数来选择特征和切分点，生成的树更加简洁，但它也容易过拟合。
2024-03-23 06:38:32
1043
原创 机器学习——决策树特征选择准则
决策树是一种强大的机器学习模型，它可以用于分类和回归任务。决策树通过树状结构对数据进行分类，每个内部节点表示一个特征，每个叶节点表示一个类别或一个数值。在决策树构建的过程中，特征的选择准则起着至关重要的作用。本篇博客将介绍决策树模型以及常用的特征选择准则，包括熵和条件熵、信息增益、信息增益比和基尼指数，并通过Python代码实现。
2024-03-22 07:57:00
1445
1
原创 机器学习——支持向量机（SVM）
支持向量机（Support Vector Machine，简称SVM）是一种强大的监督学习算法，常用于分类和回归任务。SVM在分类问题中尤其广受欢迎，因为它不仅能够在线性可分的情况下找到最优的分类超平面，还可以通过核函数处理非线性情况。在本篇博客中，将介绍支持向量机的理论基础、关键概念以及通过Python代码实现一个简单的SVM分类器。
2024-03-22 07:52:26
1436
原创 机器学习——坐标轴下降法和梯度下降法
在机器学习中，优化算法是一种关键的技术，用于寻找模型参数的最优解。坐标轴下降法（Coordinate Descent）和梯度下降法（Gradient Descent）是两种常见的优化算法，用于求解目标函数的最小值。本文将详细介绍坐标轴下降法和梯度下降法的理论基础及Python代码实现进行对比分析。
2024-03-21 12:50:14
1076
传感数据分析-TOPSIS-Entropy Weight Method
2023-12-20
传感数据分析-Entropy Weight Method （熵权法）
2023-12-19
传感数据分析-最小二乘法线性拟合（Least Squares）
2023-12-18
传感数据分析-数据相关性分析
2023-12-17
传感数据分析-数据读取与绘图（可视化）
2023-12-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人