大数据分析:利用SVD分解对数据进行降维

问题描述:写程序利用SVD分解对数据进行降维,并画出降维后各个节点在”新维度“上值的分布。例如对于矩阵 A(mxn) = UΣV^T, U 分解后每一列〖 u〗i 有m个元素对应m个点,记为〖 u〗(i*). 我们画出〖 u〗_1-〖 u〗_2的坐标下的m个点的散点图

数据集1:https://github.com/shenghua-liu/HoloScope/blob/master/testdata/
下面的yelp.edgelist.gz
1)数据的格式是:用户id,饭店id,1
2)所有的id都已转换到从0开始的整数
提示:1)降维的矩阵是:用户x饭店,需要先构造矩阵;考虑稀疏矩阵,否则内存可能会溢出
2)降维的维度数选择10
3)考虑稀疏矩阵的svds工具

import numpy as np
from scipy.sparse.linalg import svds
import matplotlib.pyplot as plt
import scipy

def dataset1():
    with open('yelp.edgelist') as file:
        row = []
        col = []
        data = []
        for line in file.readlines():
            # print(line)
            curLine = line.strip().split(' ')
            floatLine = list(map(float,curLine))#这里使用map函数直接将函数装化为float类型
            # print(floatLine)
       
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值