![](https://img-blog.csdnimg.cn/187ff5aac75341f5bb233d626e930b1f.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习
文章平均质量分 94
潘登同学的机器学习笔记
PD我是你的真爱粉
东财金融在读
展开
-
t-SNE数据降维可视化
t-SNE数据降维可视化 – 潘登同学的Machine Learning笔记文章目录t-SNE数据降维可视化 -- 潘登同学的Machine Learning笔记t-SNE的基本思想SNE(Stochastic Neighbor Embedding)SNE的主要缺点距离不对称存在拥挤现象如何确定σ\sigmaσ总结t-sne代码实现对比t-sne与UMAP是最近遇到了bertopic中,使用的UMAP降维ie方法,说是能吊打t-SNE,但之前我做Word2Vec的时候也是用的t-SNE,所以学习一下,并原创 2022-05-27 22:48:38 · 2053 阅读 · 0 评论 -
概率图模型--HMM
概率图模型–HMM – 潘登同学的Machine Learning笔记文章目录概率图模型--HMM -- 潘登同学的Machine Learning笔记马尔可夫链HMM基本假设HMM 的两个空间和三组参数HMM的三个基本问题概率计算问题(evaluation问题)预测问题(解码问题)学习问题马尔可夫链有向图模型(贝叶斯网络):用有向图表示变量间的依赖关系;无向图模型(马尔可夫网):用无向图表示变量间的相关关系。HMM 就是贝叶斯网络的一种–虽然它的名字里有和“马尔可夫网”一样的马尔可夫。对变量原创 2022-05-07 17:52:35 · 551 阅读 · 0 评论 -
文本建模PLSA与LDA模型
文本建模PLSA与LDA模型 – 潘登同学的Machine Learning笔记文章目录文本建模PLSA与LDA模型 -- 潘登同学的Machine Learning笔记文本生成过程Unigram Modeln-gram modelPLSA模型(Probabilistic latent semantic analysis)LDA 模型为什么要选择这些分布Python实现文本预处理-分词LDA分析结果展现主题数目选择--困惑度文本生成过程一篇文档,可以看成是一组有序的词的序列 d=(w1,w2,…,wn原创 2022-04-26 11:03:29 · 751 阅读 · 0 评论 -
Word2Vec实战
Word2Vec实战 – 潘登同学的NLP学习笔记文章目录Word2Vec实战 -- 潘登同学的NLP学习笔记回顾词向量算法Skip-gramWord2Vec代码实现拉取数据解压数据数据处理构造训练样本查看构造结果构造计算图画图函数Trian!结果回顾词向量算法Skip-gramWord2Vec代码实现这里采用Skip-gram方法生成词向量拉取数据解压数据将数据转成list数据处理主要有4个处理目标(不常见单词统一处理为UNK)count: 计算每个单词出现的频数dicti原创 2022-04-14 18:33:15 · 1091 阅读 · 0 评论 -
N-gram语言模型和Word2Vec
N-gram语言模型 – 潘登同学的NLP学习笔记文章目录N-gram语言模型 -- 潘登同学的NLP学习笔记语言模型N-gram概率模型马尔科夫假设选取N的艺术举例说明OOV 问题平滑处理总结NPLM(Neural Probabilistic Language Model)N-gram 神经语言模型网络结构相比 N-gram 模型,NPLM 的优势词向量Word2VecCBOW模型(Continuous Bag-of-Words Model)Skip-gram两种模型的两种训练方式哈夫曼树分层Softm原创 2022-04-10 15:28:11 · 1308 阅读 · 0 评论 -
偏最小二乘回归分析PLS
Partial least squares regression 偏最小二乘回归–潘登同学的Machine Learning笔记文章目录Partial least squares regression 偏最小二乘回归--潘登同学的Machine Learning笔记什么时候用PLS基本原理计算步骤第一步第二步第三步第四步交叉有效性检验python实现什么时候用PLS偏最小二乘回归是集主成分分析,典型相关分析和多元线性回归分析3种分析方法的优点于一身MLR的缺点: 当自变量的数量大于样本量的时候,原创 2022-04-06 22:21:51 · 6113 阅读 · 1 评论 -
卷积神经网络优化
卷积神经网络优化–潘登同学的深度学习笔记文章目录卷积神经网络优化--潘登同学的深度学习笔记Alexnet网络结构连续使用小的卷积核的作用使用1*1的卷积核的作用使用1*1卷积核代替全连接Dropout技术使用方法为什么Dropout技术多用在全连接层数据增强技术VGG16网络Topolopy结构VGG16及其变形Inception-V1Inception的NIN回顾1*1卷积核的作用解决超深度网络的训练问题Inception-V2Inception-V3Inception-V3源码GlobalAverag原创 2022-03-08 21:22:03 · 6595 阅读 · 0 评论 -
深度学习激活函数与正则化问题
深度学习激活函数与正则化问题–潘登同学的深度学习笔记文章目录深度学习激活函数与正则化问题--潘登同学的深度学习笔记梯度消失问题(Vanishing Gradients)Relu的缺点其他Relu变形参数初始化问题pre-trainingrandom initialization代码验证Xavier initialization代码验证对参数初始化问题的总结梯度爆炸解决方案NormalizationBatch Normalization为什么要进行BNBN的使用位置BN算法过程BN的作用BN的问题Layer原创 2022-03-07 18:07:55 · 4326 阅读 · 0 评论 -
Adaboost 算法与集成学习
Adaboost 算法与集成学习 – 潘登同学的Machine Learning笔记文章目录Adaboost 算法与集成学习 -- 潘登同学的Machine Learning笔记BoostingAdaboost如何生成g(x)g(x)g(x)Adaboost 中的数据权重 Un目标更新Uit+1U_i^{t+1}Uit+1迭代每一轮物理权重Uit+1U_i^{t+1}Uit+1时的方式合并生成G(x)G(x)G(x)总结Adaboost 全局过程Adaboost回归问题的算法流程代码实现Adaboos原创 2021-12-23 23:09:53 · 640 阅读 · 0 评论 -
随机森林算法与集成学习
随机森林算法与集成学习 – 潘登同学的Machine Learning笔记文章目录随机森林算法与集成学习 -- 潘登同学的Machine Learning笔记聚合模型同权重不同权重如何生成g(x)g(x)g(x)Bagging(一袋子模型)Boosting(提升模型)随机森林OOB问题(Out of bag data)实战鸢尾花数据集多种模型 + bagging随机森林OOB书接上文,经典决策树CART、ID3与C4.5,我们构建了一颗树来解决分类、拟合问题,但是一棵树的缺点也很明显,就是容易过拟合;再原创 2021-12-05 23:58:21 · 865 阅读 · 0 评论 -
经典决策树CART、ID3与C4.5
经典决策树CART、ID3与C4.5 – 潘登同学的Machine Learning笔记文章目录经典决策树CART、ID3与C4.5 -- 潘登同学的Machine Learning笔记决策树模型决策树的数学表达整体表达式迭代表达式决策树的分裂指标Gini 系数与CARTCART用于分类目标CART用于回归目标信息增益与ID3信息增益率与C4.5ID3与C4.5何时停止分裂?总结决策树的优缺点CART、ID3与C4.5实战鸢尾花数据集绘制不同超参数对应决策树模型的图形实现回归树不同超参数对应决策树模型的回原创 2021-12-05 21:54:22 · 146 阅读 · 0 评论 -
EM 算法与 GMM 模型
EM算法与GMM模型 – 潘登同学的Machine Learning笔记文章目录EM算法与GMM模型 -- 潘登同学的Machine Learning笔记GMM模型单高斯模型 GM的参数估计(本质是最大似然估计)混合高斯分布 GMM 的参数估计举个栗子GMM 混合高斯分布分两步求解 GMM算法总结EM算法EM算法的步骤(算法)EM算法应用EM框架把EM框架用在GMM上把EM框架用在K-means上GMM算法应用在图像识别中GMM模型高斯密度函数估计是一种参数化模型。高斯混合模型(Gaussian M原创 2021-11-27 11:18:39 · 621 阅读 · 0 评论 -
机器学习、深度学习优化函数详解
机器学习、深度学习优化函数详解 – 潘登同学的Machine Learning笔记文章目录机器学习、深度学习优化函数详解 -- 潘登同学的Machine Learning笔记简单回顾梯度下降法随机梯度下降的不足动量优化法(Momentum)Adagrad优化法Adadelta优化法Adam优化法图示各种优化方法各种优化方法在Tensorlfow中的调用梯度下降法Adagrad下降法动量优化法RMSProp算法Adam算法Adadelta优化法简单回顾梯度下降法(算法)梯度下降法Random原创 2021-11-25 15:27:39 · 2155 阅读 · 0 评论 -
密度最大值聚类、谱聚类
密度最大值聚类、谱聚类 – 潘登同学的Machine Learning笔记文章目录密度最大值聚类、谱聚类 -- 潘登同学的Machine Learning笔记密度最大值聚类簇中心和异常点的识别举个栗子谱聚类概念引入邻接矩阵度矩阵相似矩阵拉普拉斯矩阵无向图切图两种切图方式RatioCut切图Ncut切图(算法)谱聚类算法流程谱聚类算法总结密度最大值聚类密度最大值聚类是一种简洁优美的聚类算法, 可以识别各种形状的类簇, 并且参数很容易确定。局部密度:ρi=∑jχ(dij−dc),其中χ(x)={1,原创 2021-11-15 15:42:02 · 163 阅读 · 0 评论 -
Canopy聚类、层次聚类、密度聚类-DBSCAN
各种聚类及应用 – 潘登同学的Machine Learning笔记文章目录各种聚类及应用 -- 潘登同学的Machine Learning笔记Canopy聚类(算法)步骤层次聚类分裂法凝聚法合并C1,C2C_1, C_2C1,C2的方式密度聚类-DBSCAN(算法)步骤书接上文说完了K-means, 接着说说其他的聚类方法Canopy聚类Canopy聚类算法是一个将对象分组到类的简单、快速、精确地方法。每个对象用多维特征空间里的一个点来表示。这个算法使用一个快速近似距离度量和两个距离阈值T1&原创 2021-11-13 15:26:11 · 1878 阅读 · 0 评论 -
聚类算法K-mean及其变形
聚类算法K-mean及其变形 – 潘登同学的Machine Learning笔记文章目录聚类算法K-mean及其变形 -- 潘登同学的Machine Learning笔记无监督机器学习数据间的相似度距离公式聚类K-means聚类K-mean的loss举个栗子:总结K-Mediods聚类二分K-meansK-means++Mini-batch Kmeans无监督机器学习回顾有监督机器学习给定训练集 X 和 标签Y选择模型学习(目标函数的最优化) - >生成模型(本质上是一组参数)根据生成原创 2021-11-09 15:24:15 · 708 阅读 · 0 评论 -
Polynomial多项式升维和PCA降维
Polynomial多项式升维和PCA降维 --潘登同学的Machine Learning笔记文章目录Polynomial多项式升维和PCA降维 --潘登同学的Machine Learning笔记(简单回顾)多元线性回归模型Polynomial多项式升维多项式升维具体操作(以两个变量为例)PCA降维特征向量中刻画了矩阵的本质PCA目标PCA的过程PCA 总结应用实例PCA:(简单回顾)多元线性回归模型总目标:预测模型:y=β0+β1x1+⋯+βkxky = \beta_0 + \beta原创 2021-10-14 18:28:32 · 917 阅读 · 0 评论 -
SVM 支持向量机(Support Vector Machine)(Part 1)
SVM 支持向量机(Support Vector Machine)(Part 1) – 潘登同学的Machine Learning笔记文章目录SVM 支持向量机(Support Vector Machine)(Part 1) -- 潘登同学的Machine Learning笔记SVM 支持向量机感知器模型找到一个超平面构建Loss函数几何距离和函数距离SVM 算法思想一个问题?几个概念硬间隔SVM转换成有约束的函数优化问题:拉格朗日乘子法-求解有约束最优化问题拉格朗日乘子法对偶问题求解最优化问题-硬间隔硬原创 2021-10-31 15:53:26 · 138 阅读 · 0 评论 -
多元线性回归改进Ridge&Lasso
多元线性回归改进 – 潘登同学的Machine Learning笔记文章目录多元线性回归改进 -- 潘登同学的Machine Learning笔记(简单回顾)多元线性回归模型归一化normalization归一化的方法来个小例子试一试?正则化regularization正则项Lasso回归 和 Ridge岭回归L1稀疏L2平滑L1稀疏的应用--特征选择Lasso与Ridge例子L1和L2正则项同时作用 -- ElasticNetElasticNet例子(简单回顾)多元线性回归模型总目标:预测原创 2021-10-12 16:14:07 · 1639 阅读 · 0 评论 -
从广义线性回归推导出逻辑回归
从广义线性回归推导出逻辑回归(LogisticRegression) – 潘登同学的Machine Learning笔记文章目录从广义线性回归推导出逻辑回归(LogisticRegression) -- 潘登同学的Machine Learning笔记Logistic回归广义线性回归指数族分布(The exponential family distribution)推导说明伯努利分布是指数族分布sigmoid函数回看多元线性回归Loss函数的推导与求解采用最大似然估计MLE来构造损失函数求解Loss的最小值原创 2021-10-21 09:23:07 · 288 阅读 · 0 评论 -
多分类任务ovo、ovr及softmax回归
多分类任务OVO、OVR及softmax回归 – 潘登同学的Machine Learning笔记文章目录多分类任务OVO、OVR及softmax回归 -- 潘登同学的Machine Learning笔记简单回顾Logistic回归Logistic回归实现多分类问题One-vs-all(one-vs-rest)实战OVR对上次的鸢尾花数据进行多分类OVO(One vs One)实战OVO对鸢尾花数据进行多分类Softmax回归从广义线性回归推导出 softmax推导说明多项分布是指数族分布由指数族分布推导s原创 2021-10-23 17:16:31 · 1257 阅读 · 0 评论 -
多元线性回归MLR
多元线性回归(MLR)文章目录多元线性回归(MLR)由极大似然估计(MLE, Maximum likelihood estimation)推导MSE简单导数知识推导解析解(θ=(XTX)−1XTY\theta = (X^TX)^{-1}X^TYθ=(XTX)−1XTY)来个例子试一试吧不用解析解, 用梯度下降求解θ\thetaθ梯度下降法另外三种梯度下降法梯度下降法求解的例子:消除伏笔总目标:预测模型:y=β0+β1x1+⋯+βkxky = \beta_0 + \beta_1x_1 + \原创 2021-10-10 23:56:16 · 3563 阅读 · 1 评论 -
SVM 支持向量机(Support Vector Machine)(Part 2)
SVM 支持向量机(Support Vector Machine)(Part 2) – 潘登同学的Machine Learning笔记文章目录SVM 支持向量机(Support Vector Machine)(Part 2) -- 潘登同学的Machine Learning笔记简单回顾硬间隔SVM算法流程硬间隔面临的问题软间隔SVM回想硬间隔的条件解决方案目标函数的优化分析软间隔问题的支持向量简单回顾硬间隔的支持向量对于软间隔总结软间隔最大化算法非线性支持向量机深刻理解软间隔不是非线性支持向量机解决非线性原创 2021-11-02 09:43:00 · 111 阅读 · 0 评论 -
实战音乐分类项目
实战音乐分类项目 – 潘登同学的Machine Learning笔记文章目录实战音乐分类项目 -- 潘登同学的Machine Learning笔记音乐结构解析傅里叶分析解析音频结构时域与频域(预备知识)傅里叶级数图示傅里叶级数(以3项为例)对上面的无条件做傅里叶变换音乐分类项目先看歌曲的时域再看歌曲的频域做傅里叶变换, 提取特征将特征转化为x, 标签转化为y读取模型, 进行预测找点歌来试试贝多芬的月光曲再来一首, 无条件要有始有终音乐结构解析先欣赏一首歌无条件查看其波形图查看无条件某一秒原创 2021-10-24 21:31:58 · 208 阅读 · 0 评论