![](https://img-blog.csdnimg.cn/direct/029814b446074832b00a91b948096080.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习
文章平均质量分 96
记录学习机器学习整理的一些笔记,以及各种算法的实现。
格兰芬多_未名
找到自己的目标和方向是一件很幸福的事
展开
-
机器学习入门简介(基本概念,训练误差与泛化误差等)
本章介绍机器学习的基本概念,期望风险,经验误差,模型评估和模型选择的基本内容。原创 2023-12-20 18:07:01 · 1504 阅读 · 1 评论 -
Transformer图文详解【Attention is all you need】
在理解了自注意力机制的基础上,我们来介绍大语言模型的基础——Transformer结构,Attention is all you need!原创 2024-07-21 20:20:18 · 1064 阅读 · 0 评论 -
基于隐马尔可夫模型的股票预测【HMM】
本文探讨了利用隐马尔可夫模型(Hidden Markov Model, HMM)进行股票预测的建模方法,并详细介绍了模型的原理、参数初始化以及实验分析。原创 2024-07-01 22:18:01 · 1021 阅读 · 0 评论 -
高斯过程回归【详细数学推导】
高斯过程回归(Gaussian Process Regression,简称GPR)是一种非参数的回归方法,它基于高斯过程(Gaussian Process)理论。在机器学习中,高斯过程是一种强大的工具,用于建模连续型的函数关系,特别适用于小样本的情况。原创 2024-04-22 18:23:31 · 1752 阅读 · 0 评论 -
极大似然估计、最大后验估计、贝叶斯估计
本节我们介绍统计学中常用的三种参数估计方法:极大似然估计(MLE)、最大后验估计(MAP)以及贝叶斯估计.原创 2024-04-14 16:53:03 · 755 阅读 · 0 评论 -
熵、交叉熵、KL散度【详细理论推导】
熵是信息论中最基本、最核心的一个概念,它衡量了一个概率分布的随机程度,或者说包含的信息量的大小。假设随机变量取值为 x,对应的概率为 p(x)。直观来看,取这个值的可能性越小,而它又发生了,则包含的信息量就越大。也就是说,概率越小,信息量越大。例如,一年之内人类登陆火星,包含的信息量显然比广州明天要下雨大,因为前者的概率明显小于后者。因此如果定义一个函数 h(x)来描述随机变量取值为的信息量的大小的话,则h(x)应该是 p ( x )的单调减函数。满足单调递减要求的函数太多了,该选择哪个函数呢?原创 2024-03-19 11:48:59 · 809 阅读 · 0 评论 -
基于Pytorch的猫狗图片分类【Cat vs Dog】
猫狗分类来源于Kaggle上的一个入门竞赛——Dogs vs Cats。为了加深对CNN的理解,基于Pytorch复现了LeNet,AlexNet,ResNet等经典CNN模型……原创 2024-02-25 15:53:13 · 5264 阅读 · 0 评论 -
什么是范数【向量范数、矩阵范数】
范数,在线性代数、泛函分析及相关的数学领域,是一个函数,其为向量空间内的所有向量赋予非零的正长度或大小。原创 2024-01-19 14:12:19 · 1391 阅读 · 1 评论 -
奇异值分解(SVD)【详细推导证明】
奇异值分解(Singular Value Decomposition)是线性代数中一种重要的矩阵分解,奇异值分解则是特征分解在任意矩阵上的推广。在信号处理、统计学等领域有重要应用。原创 2024-01-18 19:57:39 · 2875 阅读 · 1 评论 -
蒙特卡洛方法【拒绝采样、重要性采样】
蒙特卡洛方法(Monte Carlo Simulation)是一种近似推断的方法,通过采样大量粒子的方法来求解期望、均值、面积、积分等问题。蒙特卡洛对某一种分布的采样方法有直接采样、接受拒绝采样与重要性采样三种。原创 2024-01-05 16:37:47 · 2652 阅读 · 3 评论 -
隐马尔可夫模型【维特比算法】
本文主要介绍隐马尔可夫解码问题的维特比算法,维特比算法是一种动态规划算法用于寻找最有可能产生观测事件序列的隐含状态序列.原创 2024-01-04 19:07:54 · 1666 阅读 · 1 评论 -
Principal Component Analysis:主成分分析【PCA降维】
PCA,即主成分分析方法,是一种使用最广泛的数据降维算法。在信号处理中认为信号具有较大的方差,噪声有较小的方差,信噪比就是信号与噪声的方差比,越大越好,因此我们认为,最好的k维特征是将n维样本点转换为$k$维后,每一维上的样本方差都很大,并且每一维的数据不相关。原创 2023-12-26 20:08:10 · 1029 阅读 · 0 评论 -
多层感知机与反向传播【MLP】
本文介绍多层感知机(前馈神经网络)的结构,以及反向传播的原理。最后用numpy手动实现一个两层前馈网络预测手写数字(MNIST)数据,从原理到实现帮助彻底弄明白多层感知机中的反向传播!原创 2023-12-26 14:51:04 · 1545 阅读 · 0 评论 -
什么是线性回归、岭回归
线性回归是一种线性模型,线性模型形式简单、易于建模。本文分别从最小二乘和极大似然估计的角度推导线性回归模型的参数估计,同时简要介绍岭回归及其特点。原创 2023-12-24 17:24:14 · 1197 阅读 · 1 评论 -
逻辑回归【Logistic Regression】
Logistic回归名为回归,实为分类模型。与朴素贝叶斯分类一样,Logistic回归也是采用后验概率最大化的分类准则,不同的是,朴素贝叶斯分类模型是生成模型,而Logistic回归是判别式模型。原创 2023-12-24 13:38:57 · 1159 阅读 · 1 评论 -
朴素贝叶斯分类【原理推导+实例】
贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。而朴素贝叶斯(Naive Bayes)分类假设特征之间相互独立,是贝叶斯分类中最简单一种分类方法。原创 2023-12-22 23:08:04 · 1695 阅读 · 0 评论 -
什么是支持向量机【SVM,详细理论推导】
支持向量机(support vector machines, SVM)是一种二分类模型。本文详细介绍线性可分支持向量机和线性支持向量机的原理、算法推导,同时有不少图帮助理解。原创 2023-12-21 18:11:30 · 9651 阅读 · 4 评论 -
感知机【图文,详细推导】
机器学习笔记,本文主要介绍感知机。感知机(PLA)是 1957 年,由 Rosenblatt 提出会,是神经网络和支持向量机的基础。感知机是二分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取值为+1和-1。原创 2023-12-21 10:51:56 · 2342 阅读 · 2 评论