特征降维 实例

最新推荐文章于 2022-12-25 12:12:19 发布
最新推荐文章于 2022-12-25 12:12:19 发布
阅读量1.5k 收藏 1
点赞数
文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mlljava1111/article/details/50847500
版权

0_5.txt

00000000000000110000000000000000
00000000000011111100000000000000
00000000000111111110000000000000
00000000001111111111000000000000
00000000111111111111100000000000
00000001111111111111110000000000
00000000111111111111111000000000
00000000111111100001111100000000
00000001111111000001111100000000
00000011111100000000111100000000
00000011111100000000111110000000
00000011111100000000011110000000
00000011111100000000011110000000
00000001111110000000001111000000
00000011111110000000001111000000
00000011111100000000001111000000
00000001111100000000001111000000
00000011111100000000001111000000
00000001111100000000001111000000
00000001111100000000011111000000
00000000111110000000001111100000
00000000111110000000001111100000
00000000111110000000001111100000
00000000111110000000011111000000
00000000111110000000111111000000
00000000111111000001111110000000
00000000011111111111111110000000
00000000001111111111111110000000
00000000001111111111111110000000
00000000000111111111111000000000
00000000000011111111110000000000
00000000000000111111000000000000

#-*- coding: utf-8 -*-
'''
Created on Mar 8, 2011

@author: Peter
'''
from numpy import *
from numpy import linalg as la

#输入数据：用户-菜肴
#行：用户，列：菜肴
#数字表示用户对菜肴的喜好评分1-5,0表示未品尝该菜
def loadExData0():
    return[[0, 0, 0, 2, 2],
           [0, 0, 0, 3, 3],
           [0, 0, 0, 1, 1],
           [1, 1, 1, 0, 0],
           [2, 2, 2, 0, 0],
           [5, 5, 5, 0, 0],
           [1, 1, 1, 0, 0]]

def loadExData():
    return[[4, 4, 0, 2, 2],
            [4, 0, 0, 3, 3],
            [4, 0, 0, 1, 1],
            [1, 1, 1, 2, 0],
            [2, 2, 2, 0, 0],
            [1, 1, 1, 0, 0],
            [5, 5, 5, 0, 0]]


def loadExData2():
    return[[0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 5],
           [0, 0, 0, 3, 0, 4, 0, 0, 0, 0, 3],
           [0, 0, 0, 0, 4, 0, 0, 1, 0, 4, 0],
           [3, 3, 4, 0, 0, 0, 0, 2, 2, 0, 0],
           [5, 4, 5, 0, 0, 0, 0, 5, 5, 0, 0],
           [0, 0, 0, 0, 5, 0, 1, 0, 0, 5, 0],
           [4, 3, 4, 0, 0, 0, 0, 5, 5, 0, 1],
           [0, 0, 0, 4, 0, 4, 0, 0, 0, 0, 4],
           [0, 0, 0, 2, 0, 2, 5, 0, 0, 1, 2],
           [0, 0, 0, 0, 5, 0, 0, 0, 0, 4, 0],
           [1, 0, 0, 0, 0, 0, 0, 1, 2, 0, 0]]

def loadExData1():
    return[[2, 0, 0, 4, 4, 0, 0, 0, 0, 0, 0],
           [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5],
           [0, 0, 0, 0, 0, 0, 0, 1, 0, 4, 0],
           [3, 3, 4, 0, 3, 0, 0, 2, 2, 0, 0],
           [5, 5, 5, 0, 0, 0, 0, 0, 0, 0, 0],
           [0, 0, 0, 0, 0, 0, 5, 0, 0, 5, 0],
           [4, 0, 4, 0, 0, 0, 0, 0, 0, 0, 5],
           [0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 4],
           [0, 0, 0, 0, 0, 0, 5, 0, 0, 5, 0],
           [0, 0, 0, 3, 0, 0, 0, 0, 4, 5, 0],
           [1, 1, 2, 1, 1, 2, 1, 0, 4, 5, 0]]


#基于欧氏距离的相似度：1/(1+欧氏距离)   
def ecludSim(inA,inB): #A,B两个样本向量
    #库函数la.norm（）计算欧式距离
    return 1.0/(1.0 + la.norm(inA - inB))

#基于皮尔森相关系数的相似度：0.5+0.5*corrcoef()
def pearsSim(inA,inB):
    if len(inA) < 3 : return 1.0
    #corrcoef()返回的是2*2的对称矩阵,索引[0][1]或者[1][0]都行
    #并将值范围[-1,1]归一化到[0,1]
    return 0.5+0.5*corrcoef(inA, inB, rowvar = 0)[0][1]

#基于余弦夹角的相似度
def cosSim(inA,inB):
    num = float(inA.T*inB)
    denom = la.norm(inA)*la.norm(inB)
    #将余弦夹角值[-1,1]归一化到[0,1]
    return 0.5+0.5*(num/denom)


#基于物品相似度，计算用户对物品的评分估计值
#输入：dataMat 用户数据
#user：用户编号（行）
#simMeas：相似度计算函数
#item:物品编号（列），用户待预测的物品 
def standEst(dataMat, user, simMeas, item):
    #数据矩阵列，即为物品数
    n = shape(dataMat)[1]
    simTotal = 0.0; ratSimTotal = 0.0

    #遍历所有物品
    for j in range(n):
        #用户user对j物品评分 
        userRating = dataMat[user,j]
        #（1）若未对物品j评分，即userRating=0，不处理
        if userRating == 0: continue  
        #（2）若对物品j评分：
        #统计对物品item和物品j都评分的用户编号
        overLap = nonzero(logical_and(dataMat[:,item].A>0, \
                                      dataMat[:,j].A>0))[0]
        #（2.1）若没有用户同时对物品item和j评分，则两物品间相似度为0
        if len(overLap) == 0: similarity = 0
        #（2.2）若有用户同时对物品item和j评分，抽取出来，计算相似度
        else: similarity = simMeas(dataMat[overLap,item],dataMat[overLap,j])
        print 'the %d and %d similarity is: %f' % (item, j, similarity)
        #相似度求和
        simTotal += similarity
        #预测用户user对物品item评分总和
        ratSimTotal += similarity * userRating
    if simTotal == 0: return 0
    #归一化预测评分
    else: return ratSimTotal/simTotal

#基于SVD的评分估计 
#输入：dataMat 用户数据
#user：用户编号（行）
#simMeas：相似度计算函数
#item:物品编号（列），用户待预测的物品  
def svdEst(dataMat, user, simMeas, item):
    #物品数
    n = shape(dataMat)[1]
    simTotal = 0.0; ratSimTotal = 0.0
    #SVD分解
    U,Sigma,VT = la.svd(dataMat)
    #构建对角矩阵，取前3个奇异值
    #3个额外算出来的，确保总能量>90%
    Sig3 = mat(eye(3)*Sigma[:3]) 
    #SVD降维，重构低维空间的物品#.I求逆
    xformedItems = dataMat.T * U[:,:3] * Sig3.I  
    #遍历所有物品
    for j in range(n):
        #用户user对j物品评分
        userRating = dataMat[user,j]
        #若未对物品j评分，即userRating=0，不处理
        if userRating == 0 or j==item: continue
        #在低维空间计算物品j与物品item的相似度
        similarity = simMeas(xformedItems[item,:].T,\
                             xformedItems[j,:].T)
        print 'the %d and %d similarity is: %f' % (item, j, similarity)
        #相似度求和
        simTotal += similarity
        #预测用户user对物品item评分总和
        ratSimTotal += similarity * userRating
    if simTotal == 0: return 0
    #归一化预测评分
    else: return ratSimTotal/simTotal

#基于物品相似度的推荐
#dataMat：  数据
#user：     用户编号
# N：       选择预测评分最高的N个结果
#simMeas：  相似度计算方法
#estMethod：用户对物品的预测估分方法
def recommend(dataMat, user, N=3, simMeas=cosSim, estMethod=standEst):
    #找没有被用户user评分的物品
    unratedItems = nonzero(dataMat[user,:].A==0)[1]  
    #若都评分则退出，不需要再推荐
    if len(unratedItems) == 0: return 'you rated everything'    
    itemScores = []
    #遍历未评分的物品
    for item in unratedItems:
        #预测用户user对为评分物品item的估分
        estimatedScore = estMethod(dataMat, user, simMeas, item)
        #存（物品编号，对应估分值）
        itemScores.append((item, estimatedScore))
    #选择最高的估分结果
    return sorted(itemScores, key=lambda jj: jj[1], reverse=True)[:N]

#*****图像输出
def printMat(inMat, thresh=0.8):
    for i in range(32):
        for k in range(32):
            #阈值>0.8，输出1.
            if float(inMat[i,k]) > thresh:
                print 1,
            #阈值<0.8，输出0.    
            else: print 0,
        print ''

#*****图像压缩
def imgCompress(numSV=3, thresh=0.8):
    myl = []
    #读.txt文件，转换为矩阵存储到myMat中
    for line in open('0_5.txt').readlines():
        newRow = []
        for i in range(32):
            newRow.append(int(line[i]))
        myl.append(newRow)
    myMat = mat(myl)

    print "****original matrix******"
    #输出阈值处理的图像
    printMat(myMat, thresh)
    #SVD分解
    U,Sigma,VT = la.svd(myMat)
    #初始化numSV*numSV的零矩阵SigRecon
    SigRecon = mat(zeros((numSV, numSV)))
    #Sigma对角线前numSV个值重构对角矩阵SigRecon
    for k in range(numSV):
        SigRecon[k,k] = Sigma[k]
    #重构后的图像矩阵
    reconMat = U[:,:numSV]*SigRecon*VT[:numSV,:]
    print "****reconstructed matrix using %d singular values******" % numSV
    #输出阈值处理后的重构图像
    printMat(reconMat, thresh)

if __name__=="__main__":
    imgCompress(2)
    # #（1）*****测试奇异值分解的结果：
    # data=[[1,1,1,0,0],
    #       [2,2,2,0,0],
    #       [1,1,1,0,0],
    #       [5,5,5,0,0],
    #       [1,1,0,2,2],
    #       [0,0,0,3,3],
    #       [0,0,0,1,1]]
    # U,sigma,VT=linalg.svd(data)
    # print'sigma=',sigma
    # print'U=',U
    # print'VT=',VT
    # # #低秩重构,取前3个奇异值
    # sigma3=mat([[sigma[0],0,0],[0,sigma[1],0],[0,0,sigma[2]]])
    # recondata=U[:,:3]*sigma3*VT[:3,:]
    # print'recondata='
    # print recondata

##    #(2)*****基于物品相似度的推荐，未用到SVD
##    data=loadExData()
##    #data=loadExData2() #用的是loadExData2()
##    data=mat(data)
##    itemscores=recommend(data,5) #对用户2推荐
##    print 'recommend result:'
##    print itemscores

   #  #(3)*****svd 查看能量分布
   #  data=loadExData2()
   #  u,sigma,vT=linalg.svd(mat(data))
   #  print 'sigma=', sigma
   #  sigma2=sigma**2
   #  print 'all energy=',sum(sigma2)#总能量
   #  print '90% of all energy=',sum(sigma2)*0.9 #总能量的90%
   #  #sigma_len=len(sigma) #奇异值个数
   # # for i in range(sigma_len)
   #  print 'energy of the first 2 Singular value=',sum(sigma2[:2])#前几个奇异值能量求和
   #  print 'energy of the first 3 Singular value=',sum(sigma2[:3])
   #
   #
   #  ##(4)*****基于svd推荐：
   #  data=loadExData2()
   #  data=mat(data)
   #  itemscores=recommend(data,1,estMethod=svdEst) #对用户1推荐,余弦夹角
   #  #对用户1推荐，皮尔逊系数
   #  #itemscores=svdRec.recommend(data,1,estMethod=svdRec.svdEst,simMeas=svdRec.pearsSim)
   #  print 'recommend result:'
   #  print itemscores

#-*- coding: utf-8 -*-
from numpy import*
from numpy import linalg as la

import svdRec

#图像SVD压缩
svdRec.imgCompress(2)

###*****SVD的调用，及sigma输出格式，如何取对角矩阵
##data=[[1, 1, 1, 0, 0],
##      [2, 2, 2, 0, 0],
##      [1, 1, 1, 0, 0],
##      [5, 5, 5, 0, 0],
##      [1, 1, 0, 2, 2],
##      [0, 0, 0, 3, 3],
##      [0, 0, 0, 1, 1]]
##    
##u,sigma,vT=linalg.svd(data)
##print sigma
##sig3=mat([[sigma[0],0,0],[0,sigma[1],0],[0,0,sigma[2]]])
##recondata=u[:,:3]*sig3*vT[:3,:]
##print 'recondata=',recondata

##         
###*****基于物品相似度的推荐，未用到SVD
##data=svdRec.loadExData() #用的是loadExData()
###data=svdRec.loadExData2() #用的是loadExData2()
##data=mat(data)
##itemscores=svdRec.recommend(data,2) #对用户2推荐
##print 'recommend result:'
##print itemscores



###*****svd 查看能量分布
##data=svdRec.loadExData2()
##u,sigma,vT=linalg.svd(mat(data))
##print 'sigma=', sigma
##sigma2=sigma**2
##print 'all energy=',sum(sigma2)#总能量
##print '90% of all energy=',sum(sigma2)*0.9 #总能量的90%
##print 'energy of the first 2 Singular value=',sum(sigma2[:2])#前几个奇异值能量求和 
##print 'energy of the first 3 Singular value=',sum(sigma2[:3]) 
##

####*****基于svd推荐： 
##data=svdRec.loadExData2()
##data=mat(data)
##itemscores=svdRec.recommend(data,1,estMethod=svdRec.svdEst) #对用户1推荐,余弦夹角
###对用户1推荐，皮尔逊系数
###itemscores=svdRec.recommend(data,1,estMethod=svdRec.svdEst,simMeas=svdRec.pearsSim)
##print 'recommend result:'
##print itemscores
mllhxn
关注
专栏目录
机器学习--高维数据降维方法并使用Iris数据集进行降维演示
weixin_45949840的博客
04-23 5985
前言 高维数据降维是指采用某种映射方法，降低随机变量的数量，例如将数据点从高维空间映射到低维空间中，从而实现维度减少。降维分为特征选择和特征提取两类，前者是从含有冗余信息以及噪声信息的数据中找出主要变量，后者是去掉原来数据，生成新的变量，可以寻找数据内部的本质结构特征。 降维的过程是通过对输入的原始数据特征进行学习，得到一个映射函数，实现将输入样本映射后到低维空间中之后，原始数据的特征并没有明显损失，通常情况下新空间的维度要小于原空间的维度。且前大部分降维算法是处理向量形式的数据。 本文列举了常用的一些降维
matlab 特征降维方法,降维和特征选择的关键方法介绍及MATLAB实现
weixin_36331312的博客
03-17 2864
目录概念理解降维：特征选择：降维的方法主成分分析(Principle Component Analysis, PCA)方法偏最小二乘法(Partial Least Squares, PLS)MATLAB实现重点函数解读：【例】光谱数据主成分回归分析(PCR)【例】偏最小二乘法(PLS)特征选择的方法Filter vs. Wrapper搜索法随机搜索启发式搜索正则化方法可视化评价指标概念理解降维：比...
MDS降维实例展示
http://www.icfgblog.com/
07-03 1991
理论推导可以参看图像降维之MDS特征抽取方法 样例来自Multidimensional scaling 前言 MDS的理论推导已经有很多了，基本上来自周志华老师的西瓜书，但其中的细节还有许多不明白，因此希望通过matlab实例来理清所有脉络。 需要解释几点 1、输入数据 输入数据是距离矩阵D，而不是原始的m个d维向量，说明有数据的信息量缺失，但它们的相对位置关系是明确的。实例中的距离矩阵如下： 也就是有4组数据，但它们的维度不知道，姑且认为较大吧，我们的任务是找4组二维的数据Z4×2Z_{4\times
机器学习实例（七）特征降维
weixin_44457774的博客
04-10 527
特征降维是无监督学习的一个应用，目的有二 其一，我们经常在实际项目中遭遇特征维度非常高的训练样本，而往往又无法借助自己的领域知识人工构建有效特征 其二，在数据表现方面，我们无法用肉眼观测超过三个维度的特征 主成分分析(PCA) import numpy as np # c初始化一个2*2的线性相关矩阵 M = np.array([[1,2], [2,4]]) # 计算2*2线性相关矩阵的秩 n...
数据挖掘之金融风控-贷款违约预测 03特征工程
qq_35928136的博客
09-21 998
数据挖掘之金融风控-贷款违约预测 03特征工程数据挖掘之金融风控-贷款违约预测 03特征工程1. 学习目标2. 内容大概3. 学习过程3.1 导入包并读取数据3.2 数据预处理3.3 数据分箱3.4 特征编码3.5 特征选择4. 总结5. 学习资料 数据挖掘之金融风控-贷款违约预测 03特征工程 1. 学习目标 学习特征预处理、缺失值、异常值处理、数据分桶等特征处理方法 学习特征交互、编码、选择的相应方法 完成相应学习打卡任务，两个选做的作业不做强制性要求，供学有余力同学自己探索 2. 内容大概 数据
PCA降维的例子
zhuiyunzhugang的博客
05-02 562
import numpy as np import matplotlib.pyplot as plt #载入数据 data=np.genfromtxt("data.csv",delimiter=",") x_data=data[:,0] y_data=data[:,-1] plt.scatter(x_data,y_data) plt.show() print(x_data.shape) #数据中...
基于Matlab实现PCA算法数据降维实例（源码+数据）.rar
04-10
1、资源内容：基于Matlab实现PCA算法数据降维实例（源码+数据）.rar 2、适用人群：计算机，电子信息工程、数学等专业的学习者，作为“参考资料”参考学习使用。 3、解压说明：本资源需要电脑端使用WinRAR、7zip等...
COD_SVM降维实例_光谱数据_stillztt_COD_
10-02
标题"COD_SVM降维实例_光谱数据_stillztt_COD_"揭示了我们将重点研究的是在化学需氧量（Chemical Oxygen Demand, COD）相关的光谱数据上运用SVM降维技术。 SVM是一种监督学习模型，最初设计用于分类和回归任务，但...
特征工程——为什么要特征降维？特征降维有哪些方法？如何使用sklearn实现？
Ma Sizhou
03-12 7589
特征降维 1、降维 1.1 定义 降维是指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程 降低随机变量的个数 相关特征(correlated feature) 比如，相对湿度与降雨量之间的相关，我们就可以只选择一个 正是因为在进行训练的时候，我们都是使用特征进行学习。如果特征本身存在问题或者特征之间相关性较强，对于算法学习预测会影响较大 1.2 降维的两种方式 特征选择 主成分分析（可以理解一种特征提取的方式） 2、特征选择 2.1 定义 数据中包含冗余或无关
机器学习-特征降维-过滤式-实例（简易数据集+代码+演示）.zip
最新发布
11-17
机器学习---特征降维---过滤式---实例（简易数据集+代码+演示）
特征降维 理论
mllhxn的专栏
03-10 1699
特征值分解 奇异值分解SVD Python实现SVD 低阶近似 奇异值选取策略 相似度计算 基于物品相似度 基于物品相似度的推荐步骤 利用物品相似度预测评分 基于物品相似度的推荐结果 利用SVD降维 利用SVD降维前后结果比较 基于SVD的图像压缩–阈值处理 基于SVD的图像压缩
LE(拉普拉斯)数据降维方法
Tc、zyh的博客
04-09 3140
文章目录高维数据降维-拉普拉斯特征映射拉普拉斯矩阵1.1无向权重图1.2拉普拉斯矩阵1.3LE算法拉普拉斯特征映射基本步骤：例子 高维数据降维-拉普拉斯特征映射 高维数据降维是指采用某种映射方法，降低随机变量的数量，例如将数据点从高维空间映射到低维空间中，从而实现维度减少。 降维的过程是通过对输入的原始数据特征进行学习，得到一个映射函数，实现将输入样本映射后到低维空间中之后，原始数据特征并没有明显的损失，通常情况下新空间的维度要小于原空间的维度。目前大部分降维算法是处理向量形式的数据。 拉普拉斯矩阵 1.1
流形学习（三） LE 在 MATLAB 中的实现及实例
waitingwinter的博客
04-12 5460
目录 LE(Laplacian Eigenmapping ) 基本思想 step1 最近邻确定与最佳权重 step2 构造目标函数 step3 求解优化问题 MATLAB 程序及实例 LE(Laplacian Eigenmapping ) 前两节我们介绍了 LLE 和 Isomap 算法以及其在瑞士卷上的降维，详见 Isomap:https://blog.csdn.net/wa...
特征的转换_06-特征降维PCA
【人工智能】王小草的博客
02-07 1182
1. 为什么特征要降维？（1）特征之间如果存在多重共线性，或者说是较高的相似性，则模型会不准确，或被高估了水平，PCA降维可以消除特征之间的相似性，保持特征的独立性。（2）特征太多则模型复杂，在保持模型表现能力不减弱的情况下对特征进行降低维度能够简化模型。2. 如何降维？比如有特征x1, x2, x3. 寻找PC1 = w11*x1 + w12*x2 + w13*x3; PC2 = w21*x1
深度学习中的线性代数
醉意流年go的博客
11-04 514
1、范数 目的：在机器学习和深度学习中，限制模型复杂度、提升模型的泛华能力。 范数（Norm）的定义： |x|p=(i|x|p)1p L1范数：即x的绝对值之和 L2范数：即xi的平方和的二次方根（欧几里得范数） 代码： Import numpy as np Import numpy.linalg as LA X = np.arange(0,1,0.1) X1 = LA.nor...
【笔记】from numpy import linalg as LA 标准化：[:,None]用来扩充None位置处维度
nyist_yangguang的博客
12-25 541
【代码】【笔记】from numpy import linalg as LA 标准化：[:,None]用来扩充None位置处维度。
机器学习：特征选择和降维实例
喜欢打酱油的老鸟
03-27 2533
https://www.toutiao.com/a6672721847512990216/ “特征选择是选择用于模型构建的相关特征的子集的过程”，或者换句话说，选择最重要的特征。 在正常情况下，领域知识起着重要作用，我们可以选择我们认为最重要的特征。例如，在预测房价时，卧室和面积通常被认为是重要的。不幸的是，在Do not Overfit II竞赛（https://www.kaggl...
SVD算法来简化数据
things_use的博客
11-08 665
1.SVD简介 SVD(Singular Value Decomposition)，奇异值分解，也就是将一个矩阵进行分解，然后从分解后的矩阵上对数据进行分析。矩阵分解可以将原始矩阵表示成新的易于处理的形式，这种新的形式是两个或者多个矩阵的乘积，如下形式： 如式1，将原始矩阵分解为三个矩阵相乘的形...
机器学习全套教程（五）-- 特征降维
python爬虫人工智能大数据
03-19 3113
Python爬虫人工智能教程：www.python88.cn 编程资源网：www.python66.cn 2.5 特征降维 学习目标 目标 知道特征选择的嵌入式、过滤式以及包裹氏三种方式 应用VarianceThreshold实现删除低方差特征 了解相关系数的特点和计算 应用相关性系数实现特征选择 应用 无 2.5.1 降维 降维是指在某些限定条件下，降低随...
pca算法设计与应用 半导体制造降维实例
11-07
半导体制造过程中的降维实例可以是通过PCA算法对一组半导体制造数据进行降维处理。 半导体制造过程中会产生大量的数据，包括温度、湿度、电压等各种物理量和工艺参数。这些数据往往是高维度的，在进行数据分析和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值