机器学习
LazzyBoi懒惰男孩
Everybody dies in their nightmare.
展开
-
K-均值聚类方法的python实现
参考《机器学习实战》首先给出k均值算法输入:样本集 聚类簇数k过程:从D中随机选择k个样本作为初始均值向量 repeat 令 for j = 1, 2, ..., m do 计算样本与各均值向量的距离: 根据距离最近的均值向量确定的簇标记: 将样本划入相应的簇: end f...原创 2018-09-10 19:46:20 · 516 阅读 · 0 评论 -
PCA降维方法的python实现
参考《机器学习实战》,使用MNIST数据集首先给出PCA的算法输入:样本集 低维空间维数 d‘过程:对所有样本进行中心化: 计算样本的协方差矩阵 对协方差矩阵做特征值分解 取最大的d'个特征值所对应的特征向量输出:投影矩阵# -*- coding: utf-8 -*-"""Created on Sun Jul 22 15:38:03 20...原创 2018-09-10 19:47:53 · 1176 阅读 · 0 评论 -
Logistic回归二分类问题实现
首先介绍一下Logistic函数形状呢是一个S形那么对一个二分类问题,考虑线性回归函数,我们可以用Logistic函数将z转换为0, 1值,这样就得到了Logistic回归模型那么接下来需要确定式中的w和b。通过极大似然法来估计w和b,给定数据集,Logistic回归模型最大化对数似然(log-likehood)其中的似然项将似然项代入对数似然,并且最大化对...原创 2020-05-10 20:43:46 · 222 阅读 · 0 评论 -
MDS降维方法实现
MDS是一种降维方法,目标是降维后任意两个样本在低维空间中的欧式距离与原始空间中的相等。令降维后样本的内积矩阵,有通过上面的式子可以得出由上面四个式子可以解得,对B做特征值分解,,得接下来上代码,采用的数据集是美国部分城市主要城市间距离。由于地球表面是球形,所以可以看作一个三维空间,降维后就是类似地图上的位置。from numpy impor...原创 2020-05-10 20:44:08 · 425 阅读 · 0 评论 -
LDA降维方法实现
LDA方法的主要思想是,将空间中的样本点投影到一个超平面上,令同一类的样本点之间距离相对近,不同类的样本点之间距离相对远。需要最大化,其中w是超平面的“斜率”(也就是我们要求的变量),S_B是组间方差,S_w是类内方差解得之后对下式进行特征值分解下面上代码。采用的是iris数据集。from sklearn import datasetsimport numpy as...原创 2020-05-10 20:44:23 · 248 阅读 · 0 评论 -
拉普拉斯特征图算法实现
拉普拉斯特征图是一种流形降维方法。主要分为四个步骤1、邻接图的构建。可以通过KNN或半径法来确定邻居样本点。对每个邻居样本点都连接一条边2、选定边的权值。可以通过heat kernel法()确定,也可以直接设为13、特征值分解D是对角权值矩阵,4、低维嵌入L就是拉普拉斯矩阵,L = D - W对其进行特征值分解,假设降到d'维,将分解后的特征值排序,第一个特征值应该...原创 2020-05-10 20:44:39 · 685 阅读 · 0 评论