- 博客(16)
- 收藏
- 关注
RSS订阅原创 大模型的学习笔记
大模型是指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成，拥有数十亿甚至数千亿个参数。大模型的设计目的是为了提高模型的表达能力和预测性能，能够处理更加复杂的任务和数据。大模型在各种领域都有广泛的应用，包括自然语言处理、计算机视觉、语音识别和推荐系统等。大模型通过训练海量数据来学习复杂的模式和特征，具有更强大的泛化能力，可以对未见过的数据做出准确的预测。
2024-12-12 15:24:41
1585
原创 注意力的学习笔记
给机器一张图片，里面有很多的信息，但不是所有的信息都能对图片的正确识别，产生较大的影响。编码器的作用是将输入序列转换为一个固定长度的向量表示，这个向量就可以看成是这个序列的语义，且这个固定长度的向量会和解码器之间共享，来传递信息（值得注意的是这是个定长的向量，所以会产生信息丢失的问题，信息量越大，丢失的越多，所以引入“Attention”机制来解决）（6）反符号化处理： 将模型生成的译文序列进行反符号化处理，即去掉特殊符号 "<start>" 和 "<end>"，得到最终的翻译结果："这是一只猫。
2024-12-12 15:14:47
393
原创 强化学习的学习笔记
策略定义了智能体对于给定状态所做出的行为，换句话说，就是一个从状态到行为的映射，事实上状态包括了环境状态和智能体状态，这里我们是从智能体出发的，也就是指智能体所感知到的状态。我们用这样一幅图来理解一下强化学习的基本架构，大脑指代智能体agent，地球指代环境environment，从当前状态出发，在做出一个行为之后，对环境产生了一些影响，它首先给agent反馈了一个奖励信号，接下来agent可以从中发现一些信息，进而进入下一个状态，再做出新的行为，形成一个循环。接下来我们对这四个要素分别进行介绍。
2024-12-12 14:47:52
1070
原创 神经网络CNN,GNN的学习笔记
超参数：迭代轮数、学习率、batch大小、卷积核大小、卷积步长、特征图个数、池化大小。组成：CNN由卷积层、子采样层、全连接层交叉堆叠而成。函数关系：X->Y：若干（卷积层+采样层）+全连接层。根据结点聚集和层级连接方法的不同有大量不同形式的GNN。全连接输出网络各连接权重和偏置。权重变量：卷积核的权值、卷积核的偏置、全连接层的权值。各种分类任务：文本分析、情感分析、实体关系抽取等。单卷积核：输入多少层输出多少层。参数：各卷积层中的过滤值和偏置。多卷积核：输出不同的层数。Y：特征数*下一层的特征数。
2024-12-04 16:35:08
455
原创 概率图模型的学习笔记
概率围棋型是一类用图来表达变量相关关系的概率模型。它以图为表示工具，最常见的是用一个点表示一个或一组随机变量，结点之间的边表示变量间的概率相关关系，即“变量关系图”。隐马尔可夫模型是结构最简单的动态贝叶斯网，这是一种著名的有向图模型，主要用于时序数据建模，在语音识别、自然语言处理等领域有广泛应用。系统下一时刻的状态仅由当前状态决定，不依赖以往的任何状态。基于这种依赖关系，所有变量的联合概率分布为：欲确定一个隐马尔可夫模型还需要以下三组参数：1、状态转移状态矩阵记作，其中。
2024-11-22 20:58:06
752
原创 贝叶斯分类器学习笔记
对分类任务来说，在所有相关概率都已知的理想情况下，假设有N种可能的类别标记，y=｛c1，c2，...cN｝，是将一个真实标记为cj的样本误分类为ci所参数的损失。基于后验概率P(ci|x)可获得将样本x分类为ci所产生的期望损失。任务是寻找一个判断准则，以最小化总体风险：为最小化总体风险，只需在样本上选择哪个能使条件风险R(c|x)最小的类别标记，即h*称为贝叶斯最优分类器，对应的总体风险R(h*)称为贝叶斯风险。
2024-11-17 14:20:11
826
原创 第十一章：特征选择与稀疏学习
对于一个学习任务，我们将属性称之为特征。对当前学习任务有用的称为“相关特征”，没什么用的称为“无关特征”。从特征集合中选择出相关特征子集的过程称为“特征选择”。特征选择属于“数据预处理”过程，进行特征选择的两个原因：（1）减轻维数，与降维动机相似；（2）去除不相关特征会降低学习任务的难度。特征的相关与无关针对学习任务而定，无关特征是指与当前任务无关。“冗余特征”，它们包含的信息可由其他特征推演出来，去除可以减轻学习负担，但是若冗余特征与学习任务的中间概念更接近，则该冗余特征更有益。
2024-11-10 13:07:26
1063
原创 采用深度学习进行冥想脑电分类、反馈等的降维与度量学习
降维（Dimensionality Reduction）是指将高维数据映射到低维空间的过程。它的目的是通过去除冗余的特征和噪声，减少数据的维度，同时保留关键的信息。降维可以帮助减少计算复杂性、减少存储需求、提高模型效果和可视化数据等。主成分分析（PCA）是一种常用的降维技术，它通过线性变换将数据投影到一个新的坐标系中，使得数据在新坐标系下的方差最大化。度量学习（Metric Learning）是指学习一个适合于给定任务的距离度量或相似度度量。
2024-11-10 12:35:49
952
原创 第九章：聚类
是指按照某个特定标准（距离等）把一个数据集分割为不同的类或簇，使得同一个簇内的数据对象的差异性尽可能小，不在同一个簇内的数据对象差异性尽可能大。即。
2024-11-10 11:24:46
2108
原创 第八章：集成学习
在机器学习的有监督学习算法中，我们的目标是得到一个稳定的且能在各方面表现都较好的模型。但实际情况并不这么理想，往往我们只能得到多个有偏好的模型（弱监督模型，在某些方面表现较好集成学习就是为了组合多个弱监督模型以得到一个更好更全面的强监督模型。常见的集成学习算法包括Boosting、Bagging、Voting、Stacking 等。对于训练集数据，通过训练若干个个体学习器，通过一定的结合策略，来完成学习任务，最终就可以形成一个强学习器。
2024-11-03 17:16:48
1117
原创 第六章：支持向量机
支持向量机（SVM）是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面，可以将问题化为一个求解凸二次规划的问题。具体来说就是在线性可分时，在原空间寻找两类样本的最优分类超平面。在线性不可分时，加入松弛变量并通过使用非线性映射将低维度输入空间的样本映射到高维度空间使其变为线性可分，这样就可以在该特征空间中寻找最优分类平面。SVM使用准则n为特征数，m为训练样本数1、如果相对于m来说，n要大很多。
2024-11-02 18:52:09
1884
原创 第四章：决策树
（Decision Tree）算法是机器学习中常见的一种算法，是一种以树结构形式表达的预测分析模型。决策树属于（Supervised learning），根据处理数据类型的不同，决策树又分为分类决策树和回归决策树。监督学习是利用已知类别的样本训练模型，使其能够对新输入数据进行预测或分类的过程。
2024-10-28 17:42:59
1121
原创 第三章：线性模型
给定有d个属性描述的事例x=(x1;x2;...;xd)；线性模型试图线性回归（Linear Regression）就是试。均方误差是回归任务中最常用的性能度量，因此优化目标是最小化均方误差。基于最小化均方误差来进行模型求解的方法称为“在线性回归中，最小二乘法就是试图找到一条直线，使得所有样本到直线的欧式距离之和最小。（1）当时，就是高中最熟悉的“最小二乘法”，算法如下：1、计算出每个样本预测值与真实值之间的误差并求和，通过最小化均方误差MSE2、分别对。
2024-10-27 14:25:44
978
原创 第三章：采用深度学习方法进行冥想脑电分类、反馈等的线性模型
AUC-ROC(Area Under the Receiver Operating Characteristic Curve)：AUC-ROC是一种对类别不平衡问题的评估指标，它表示 ROC 曲线面积，ROC 曲线是将正例和负例在不同阈值下的真阳性和假阳性关系绘制出来的。这些指标能够全面反映模型的性能，如分类的准确性、对正例的敏感度、平衡准确率和召回率的能力等。通过使用滤波技术，可以去除不需要的频率成分，保留感兴趣的信号内容。原始脑电信号数据可能具有较低的采样频率，而在某些分析中，需要更高的时间分辨率。
2024-10-27 09:51:38
1144
原创 采用深度学习方法进行冥想脑电分类、反馈等的基础知识
冥想作为一种提升专注力和身心健康的练习方式，已有数千年历史。通过冥想，个体能够感受到自己在调控思想，并开展自省，进而更好地调节自己的专注力、压力以及情绪。近年来，随着深度学习（DL）技术的快速发展，其在脑电信号分类、反馈等方面的应用也日益受到关注。利用深度学习方法对冥想脑电进行分类和反馈研究，有助于揭示冥想过程中大脑活动的规律，为冥想训练提供科学指导，同时也有助于推动神经科学、心理学和人工智能等领域的交叉融合。
2024-10-23 22:37:42
942
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人