机器学习笔记
不热爱技术只想发财
这个作者很懒,什么都没留下…
展开
-
主成分分析(PCA)的数学推导
主成分分析是一个简单的机器学习算法,可以通过基础的线性代数知识推导。 假设在Rn\mathbb{R}^{n}Rn空间中我们有mmm个点{x(1),...,x(m)}\{\mathbf{x}^{(1)},...,\mathbf{x}^{(m)}\}{x(1),...,x(m)},我们希望对这些点进行有损压缩。有损压缩表示我们使用更少的内存,但损失一些精度去存储这些点。我们希望损失的精...原创 2020-04-21 14:09:28 · 739 阅读 · 1 评论 -
k-means学习笔记
1.算法流程输入是样本集D={x1,x2,…xm},聚类的簇树k,最大迭代次数N输出是簇划分C={C1,C2,…Ck} step1.从数据集D中随机选择k个样本作为初始的k个质心向量: {μ 1,μ 2,…,μ k}step2.对于n=1,2,…,Na) 将簇划分C初始化为C t=∅,t=1,2…kb)对于i=1,2…m,计算样本xi和各个质心向量μj(j=1,2,…k)的距离:di...原创 2019-03-05 11:15:27 · 404 阅读 · 0 评论 -
基于密度聚类的DBSCAN算法
笔记来自:https://www.cnblogs.com/pinard/p/6208966.htmlDBSCAN(Density-Based Spatial Clustering of Applications with Noise,具有噪声的基于密度的聚类方法)是一种很典型的密度聚类算法,和K-Means,BIRCH这些一般只适用于凸样本集的聚类相比,DBSCAN既可以适用于凸样本集,也可以适...转载 2019-03-16 15:44:19 · 902 阅读 · 0 评论 -
集成学习
笔记来自:https://www.cnblogs.com/pinard/p/6131423.html首先对集成学习的做一些概述。集成学习(ensemble learning)本身不是一个单独的机器学习算法,而是通过构建并结合多个机器学习器来完成学习任务。也就是我们常说的“博采众长”。集成学习可以用于分类问题集成,回归问题集成,特征选取集成,异常点检测集成等等,可以说所有的机器学习领域都可以看到...转载 2019-02-19 19:30:12 · 208 阅读 · 0 评论 -
随机森林
随机森林是bagging的进化版1.bagging算法流程输入为样本集D={(x,y1),(x2,y2),…(xm,ym)},弱学习器算法, 弱分类器迭代次数T。输出为最终的强分类器f(x)1)对于t=1,2…,T:a)对训练集进行第t次随机采样,共采集m次,得到包含m个样本的采样集Dtb)用采样集Dt训练第t个弱学习器Gt(x)2)如果是分类算法预测,则T个弱学习器投出最多票数...转载 2019-02-20 21:44:23 · 1532 阅读 · 0 评论 -
基于密度峰值的聚类算法
1.引言 2014年6⽉,Alex Rodriguez和Alessandro Laio在Science上发表了⼀篇名《Clustering by fast search and find of density peaks》的⽂章,提供了⼀种简洁而优美的聚类算法,是⼀种基于密度的聚类方法,可以识别各种形状的类簇,并且参数很容易确定。它克服了DBSCAN中不同类的密度差别⼤、邻域范围难以设定...转载 2019-03-18 16:54:54 · 12491 阅读 · 6 评论