![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 71
饕子
我是北大信息管理系大数据管理与应用方向学生,我对人工智能、计算机视觉、计算机图形学、文本挖掘、搜索引擎、机器学习(深度学习)、计算神经科学、知识图谱、NLP等方向感兴趣。
展开
-
超越学习的奇迹:元学习解密与实践
元学习是指通过学习多个任务的经验,从中获取到一般性的学习规律和策略,以便在未知任务上取得良好的表现。传统的机器学习算法通常基于某个特定任务的数据进行训练,并且在该任务上表现优秀。而元学习则致力于通过从多个任务中学习,提高算法在新任务上的泛化能力。原创 2023-08-24 22:54:05 · 103 阅读 · 0 评论 -
MoE架构详解:即时提升模型性能的全新方式!
MoE架构作为一种全新的模型组合方式,通过融合多个专家模型,有效提高了模型的表现力和准确率。它的核心原理是利用GateNet进行输入样本的分配,并通过专家模型进行处理和预测。MoE架构具有灵活性和性能提升的优势,在多个领域都有广泛的应用前景。无论是从理论上还是实际应用中,MoE架构都展示出了其强大的潜力。相信随着技术的不断发展,MoE架构将在未来的人工智能领域发挥越来越重要的作用。原创 2023-08-22 23:39:46 · 3082 阅读 · 0 评论 -
softmax学习笔记
Softmax是深度学习中常用的一种激活函数,它可以将一个k维向量转化为一个k维概率分布。在深度学习中,softmax通常用于多分类问题的最后一层。首先,我们来看一下softmax函数的定义:σ(z)j=ezj∑k=1Kezkfor j=1,…,K\sigma(\textbf{z})_j=\frac{e^{z_j}}{\sum_{k=1}^{K}e^{z_k}} \qquad \text{for } j=1,\dots,Kσ(z)j=∑k=1Kezkezjfor j=1,…,K其中,z1,z2原创 2023-07-19 20:03:57 · 213 阅读 · 1 评论 -
深入理解跨注意力机制(Cross-Attention)
跨注意力机制是一种扩展自注意力机制的技术。自注意力机制主要用于捕捉输入序列中不同位置的关联性,而跨注意力机制则通过引入额外的输入序列来融合两个不同来源的信息,以实现更准确的建模。原创 2023-07-11 22:27:54 · 15847 阅读 · 0 评论 -
多头自注意力机制(MHSA)的工作原理与应用
MHSA是一种基于自注意力机制的深度学习模型,最早是由Vaswani等人在2017年提出的。它在处理输入序列时能够自动捕捉序列之间的依赖关系,从而更好地理解上下文信息并提高模型性能。原创 2023-07-11 22:25:48 · 6689 阅读 · 0 评论 -
解码学习,超全解释
本文介绍了解码学习的基本思想以及两种常见的解码学习模型:自动编码器和变分自编码器。相比于传统的反向传播算法,解码学习在无标注数据情况下提高了模型的泛化能力,对于复杂的多层网络,训练过程容易收敛到较优解。原创 2023-06-13 10:50:52 · 121 阅读 · 0 评论 -
隐马尔可夫模型,超全解释
隐马尔可夫模型由两部分组成:一个观测序列和一个对应的隐藏状态序列。假设我们有一个由TTT个时刻组成的观测序列OO1O2⋯OTOO1O2⋯OT,其中OtO_tOt表示时刻ttt时观测到的状态。同时,假设我们有一个由TTT个时刻组成的隐藏状态序列SS1S2⋯STSS1S2⋯ST,其中StS_tSt表示时刻ttt时的隐藏状态。HMM模型包含三组参数:初始概率π\piπ。原创 2023-06-13 10:45:54 · 2625 阅读 · 0 评论 -
EM算法,超全解释
本文介绍了EM算法的基本流程及其在高斯混合模型中的应用。EM算法是一种求解含有隐变量的概率模型参数的迭代算法,已经广泛应用于信号处理、计算机视觉、自然语言处理等领域。希望本文能够对读者有所帮助。原创 2023-06-13 10:38:58 · 1007 阅读 · 0 评论 -
深度学习:扩散模型
本文介绍了扩散模型在深度学习中的基本概念、类型、学习方法和应用。扩散模型是深度学习重要的研究方向之一,目前仍有很多开放问题需要解决,如模型结构设计、学习算法优化等。如果您想深入了解扩散模型,请参考相关论文,或尝试使用一些深度学习框架进行实践。原创 2023-06-09 18:39:14 · 2889 阅读 · 0 评论 -
深度学习:能量模型
本文介绍了能量模型在深度学习中的基本概念、类型、学习方法和应用。能量模型是深度学习重要的研究方向之一,目前仍有很多开放问题需要解决,如模型结构设计、学习算法优化等。如果您想深入了解能量模型,请参考相关论文,或尝试使用一些深度学习框架进行实践。原创 2023-06-09 18:34:55 · 910 阅读 · 0 评论 -
symbolic regression学习笔记
BIMT 算法是一种优秀的文本分类算法,它通过引入词汇信息增益和无效信息减少技术,提高了文本分类的准确性和可靠性。原创 2023-06-09 18:21:56 · 460 阅读 · 0 评论 -
BIMT学习笔记
BIMT 算法是一种优秀的文本分类算法,它通过引入词汇信息增益和无效信息减少技术,提高了文本分类的准确性和可靠性。原创 2023-06-09 18:18:34 · 204 阅读 · 0 评论 -
孪生掩码自编码器SiamMAE
本文介绍了掩码自编码器和孪生网络的概念,以及孪生掩码自编码器SiamMAE的原理。SiamMAE在孪生任务中拥有较好的表现,可以用来做人脸比对、文本匹配等。如果您想进一步了解SiamMAE的实现原理,建议阅读其相关论文。此外,还可以参考其它的孪生网络算法,比如Siamese LSTM等。原创 2023-06-09 18:16:07 · 485 阅读 · 0 评论 -
Nbeats学习笔记
Nbeats 模型由 Element AI 提出,是一种基于神经网络的时间序列预测模型。Nbeats 模型的核心思想是将时间序列分解成若干个基函数,每个基函数可以被视为一个小型的神经网络,来进行时间序列的拟合。Nbeats 模型可以自适应地选择不同层面与不同时间窗口下的基函数,从而建立了一个简单而高效的模型框架。原创 2023-06-05 13:40:56 · 1181 阅读 · 0 评论 -
特征工程:PCA教程
PCA是一种线性降维方法,通过将原始高维数据映射到一个低维空间中,使得新的数据集能够保留原始数据的大部分信息,从而达到降维的目的。在实践中,PCA通常用于图像处理、数据压缩、计算机视觉和模式识别等领域。在本文中,我们详细介绍了PCA算法的原理和实现方法。PCA是一种重要的降维技术,可以在保留数据大部分信息的同时,提高计算效率和机器学习算法的准确性。希望读者通过本文的介绍和代码实现,对PCA算法有更加深入的了解,以便能在实践中更好地应用。原创 2023-06-04 18:04:54 · 197 阅读 · 0 评论 -
GBDT教程
GBDT是一种集成学习方法,使用了多棵决策树对数据进行拟合。GBDT采用了序列化的方法进行训练,每一棵树都是在上一棵树的残差基础上构建。最终,所有树的结果会被加权求和,得到最终的预测值。GBDT是一种强大的机器学习算法,能够很好地解决分类、回归等问题。它采用了序列化的方法进行训练,并且具有鲁棒性、可解释性、非线性和高效性等优点。在实际应用中,GBDT已经被广泛应用于各种场景中,取得了令人瞩目的成果。原创 2023-06-04 12:27:31 · 87 阅读 · 0 评论 -
深入理解CatBoost
CatBoost是基于梯度提升框架的机器学习库。它使用强大的集成策略,包括普通梯度提升、随机森林和对称梯度提升等多个变种。CatBoost是一个功能强大的机器学习库,可以用于分类、回归和排名等多个领域。它在处理类别特征、缺失值和防止过拟合等方面具有优势。此外,CatBoost支持GPU加速,可以大幅提高训练速度。原创 2023-06-04 12:22:20 · 570 阅读 · 0 评论 -
多头注意力机制学习笔记
在本文中,我们介绍了多头注意力机制的原理、应用以及相关的常见神经网络。多头注意力机制已经被成功应用于各种任务,包括自然语言处理、计算机视觉、推荐系统等。原创 2023-06-03 21:52:05 · 1115 阅读 · 1 评论 -
集成学习技术介绍
在本文中,我们介绍了几种常见的集成学习技术,包括Bagging、Random Forest、AdaBoost和Gradient Boosting。这些技术都在机器学习、数据挖掘和人工智能领域得到广泛的应用。原创 2023-06-03 21:46:51 · 102 阅读 · 0 评论 -
流形学习学习笔记
流形是指在局部与欧几里德空间相似的空间,在全局上可能具有不同的拓扑结构。在图像、语音、文本等领域,往往涉及到高维数据,这时候将流形内嵌入欧几里德空间进行处理就十分必要。在本文中,我们介绍了流形学习的基本概念和几种经典的流形学习算法,包括ISOMAP算法、LLE算法和t-SNE算法。这些算法在高维数据的降维和可视化中都有广泛的应用。希望对大家有帮助!原创 2023-06-03 21:42:36 · 83 阅读 · 0 评论 -
维度灾难学习笔记
在本文中,我们探究了维度灾难的原因以及如何应对这个问题。我们讨论了特征选择、主成分分析和流形学习三种方法。希望对大家有帮助!原创 2023-06-03 21:38:19 · 137 阅读 · 0 评论 -
嵌入式特征选择学习笔记
在本文中,我们介绍了一些可以应用于嵌入式特征选择的先进技术,并讨论了它们的优缺点。我们讨论了决策树算法、正则化算法和SVM算法。希望对大家有帮助!原创 2023-06-03 21:34:49 · 182 阅读 · 0 评论 -
高维低样本数据处理技术
在本文中,我们介绍了一些可以应用于高维低样本数据的先进技术,并讨论了它们的优缺点。我们讨论了数据预处理、机器学习算法和深度学习算法。希望这些信息对您有所帮助!# 高维低样本数据学习笔记,超全!!!在本文中,我们介绍了一些可以应用于高维低样本数据的先进技术,并讨论了它们的优缺点。我们讨论了数据预处理、机器学习算法和深度学习算法。希望对大家有帮助!原创 2023-06-03 21:31:03 · 352 阅读 · 0 评论 -
DDPM学习笔记
DDPM是一种高效的生成模型,具有很好的图像合成能力。它可以应用于许多不同的任务,例如自然图像合成、语音合成等。如果您想了解更多关于DDPM的信息,可以参考论文或者其官方代码库。原创 2023-06-03 16:13:02 · 356 阅读 · 0 评论 -
DDIM学习笔记
DDIM是一种非常流行的图像配准算法,它具有较强的可解释性和很高的精度。在医学领域中,DDIM可以用于CT图像、MRI图像、PET图像等的配准,从而帮助医生更准确地诊断病情。如果你对计算机视觉领域感兴趣,那么DDIM也是一个值得学习的算法。原创 2023-06-03 15:43:41 · 1144 阅读 · 0 评论 -
UNet学习笔记
UNet是一种非常流行的图像分割网络,它有着良好的性能,尤其适用于医学领域。在实际应用中,我们可以根据自己的数据集和任务需求进行调整和优化,从而获得更好的结果。原创 2023-06-03 15:42:46 · 741 阅读 · 0 评论 -
NAS神经架构
NAS是Neural Architecture Search的缩写,意为神经架构搜索,指的是通过自动化搜索的方式在给定搜索空间(例如卷积神经网络中的不同层数、不同结构等)中找到最优的神经网络结构以提高模型性能的方法。与传统人工设计的神经网络相比,NAS具有更高的准确度和效率,同时也能够解决人工设计难以调整和调试的问题。原创 2023-06-01 11:59:32 · 524 阅读 · 0 评论 -
统计:虚拟二值学习笔记
虚拟二值变量是一种用于处理分类变量的技术,通常将数据分成几个类别。虚拟二值变量在机器学习和统计学中有着广泛的应用,包括线性回归、逻辑回归和卡方检验等。在 Python 中,我们可以使用 Pandas 库来将分类变量转换为虚拟二值变量。原创 2023-05-18 20:25:52 · 228 阅读 · 0 评论 -
凸优化学习笔记
凸集是指包含其内部所有点的线性组合的集合。即,对于集合CCC中的任意两个点xy∈Cx,y\in Cxy∈C和任意λ∈01λ∈01,都有λx1−λy∈Cλx1−λy∈C。凸集的一个直观理解是该集合中的任意两点可以通过集合内的直线连接。本文介绍了凸优化问题的基本概念和定义、常见的优化算法及其特点、以及常见的凸优化应用。凸优化问题在实际应用中具有重要的作用,对于求解实际问题具有重要的意义。原创 2023-05-18 20:24:49 · 124 阅读 · 0 评论 -
级联相关学习笔记
本文介绍了级联相关学习的基本思想、优点、缺点以及近年来的研究进展。CCL是一种有效的多任务学习框架,可以提高模型的泛化性能,并且具有广泛的应用前景。如果读者想深入了解CCL的相关内容,可以查看相关研究论文,或者阅读最新的机器学习书籍。原创 2023-05-18 20:23:39 · 271 阅读 · 0 评论 -
玻尔兹曼分布学习笔记
本文介绍了玻尔兹曼分布的基本原理、性质以及在机器学习中的应用。玻尔兹曼分布是一种非常重要的概率分布模型,它不仅有着广泛的应用场景,还涉及到了熵、自由能等深入的物理概念,在学习过程中需要认真掌握。原创 2023-05-18 20:23:26 · 1852 阅读 · 0 评论 -
哑变量学习笔记
哑变量是一种用于处理分类变量的技术,通常将数据分成几个类别。哑变量在机器学习和统计学中有着广泛的应用,包括线性回归、逻辑回归和卡方检验等。在Python中,我们可以使用Pandas库来将分类变量转换为哑变量。原创 2023-05-18 20:24:17 · 849 阅读 · 0 评论 -
条件随机场学习笔记
CRF是一种图模型,由一个节点集合和一个边集合组成。每个节点表示一个观测变量(输入),每条边表示两个观测变量之间的概率关系。在标注问题中,节点表示输入序列中的单词或句子,边表示这些单词或句子之间的依赖关系。在CRF中,给定一个输入序列xxx,我们要求得一个输出序列yyy,使得后验概率py∣xp(y|x)py∣x最大。原创 2023-05-18 20:23:59 · 67 阅读 · 0 评论 -
机器学习:贝叶斯学习
本文介绍了贝叶斯学习的基本原理、常用方法以及应用场景。贝叶斯学习是一种比较常用的机器学习方法,它具有很多优点,例如可以解决过拟合问题、能够主动利用先验信息等。但是,它的计算复杂度较高,需要对概率统计理论有深入的理解。原创 2023-05-18 20:24:23 · 844 阅读 · 0 评论 -
批量规范化学习笔记
本文介绍了批量规范化的原理、实现以及应用场景。批量规范化是一种非常实用的神经网络正则化技术,对于提高神经网络性能和调试任务非常有帮助。原创 2023-05-17 14:58:27 · 70 阅读 · 0 评论 -
基学习器学习笔记
本文介绍了几种常见的基学习器,包括决策树、神经网络、支持向量机等。在集成学习中,选择合适的基学习器对于提高集成模型的表现非常重要。原创 2023-05-17 14:56:46 · 710 阅读 · 0 评论 -
激活函数学习笔记
本文介绍了常见的激活函数,包括Sigmoid、Tanh、ReLU、LeakyReLU等,同时也介绍了它们的优缺点和使用场景。对于神经网络开发人员来说,选择合适的激活函数对于提高神经网络的表现非常重要。原创 2023-05-17 14:56:09 · 81 阅读 · 0 评论 -
机器学习:竞争型学习学习笔记
本文主要介绍了竞争型学习中最常用的两种算法:自组织映射网络(SOM)和K-means聚类算法。在实际应用中,这两种算法都具有广泛的适用性和实用性,可以用于多种无监督学习任务中。因此,对于机器学习从业人员来说,熟练掌握和灵活应用这些算法是非常必要的。原创 2023-05-17 14:52:17 · 294 阅读 · 0 评论 -
批量规范化学习笔记
在深度学习的模型训练过程中,我们通常会遇到梯度消失和梯度爆炸的问题。这些问题可能会导致模型无法正常训练,或者难以收敛到最优解。为了有效地解决这些问题,我们可以采用批量规范化(Batch Normalization,以下简称BN)技术。本篇笔记将介绍BN的基本原理、实现方式,以及一些常见应用场景和注意事项。原创 2023-05-17 14:50:25 · 146 阅读 · 0 评论 -
采集函数学习笔记
采集函数是指一种能够自动从互联网或者其他数据源中获取数据的函数。它通常由程序员编写,并通过特定的技术手段来实现自动采集数据的功能。比如,在Python中,我们可以使用urllib、requests等库来编写采集函数。采集函数通常需要被设计成高度灵活和可配置的形式,以便满足各种不同的需求。例如,我们可能需要针对不同的数据源编写不同的采集函数,或者在不同的时刻调整某些采集参数。原创 2023-05-17 14:49:24 · 449 阅读 · 0 评论