Week3-4Dimensionality reduction

原创 2015年11月17日 17:52:35

Problems with the simple vector approaches to similarity

这里写图片描述

Dimensionality reduction

  • looking for hidden similarities in data
  • based on matrix decomposition

Matrix decomposition

这里写图片描述

SVD

这里写图片描述

Example

  • Assume that we have 7 Documents with 9 terms.
    这里写图片描述
    e.g. Document 1 contains term 6 and term9.

  • The document term matrix should be 9×7, a column represents a document and a raw represents a term.
    这里写图片描述

Remark: we have to normalize our matrix before svd.

  • Apply the svd decomposition

    M9×7=U9×9Σ9×7VT

    这里写图片描述

  • Σ
    这里写图片描述

  • Rank 2 Σ
    这里写图片描述

    UΣ2 is the 2 rank approximation of the TERM(2 dimension),
    Σ2VT is the 2 rank approximation of the DOCUMENT(2 dimension).

这里写图片描述

Question

what do ATA and AAT mean if A is a document-term matrix 9×7?

  • ATA7×7 is the document-document similarity matrix.
  • AAT9×9 is the term-term similarity matrix.

Latent semantic indexing(LSI, identical to LSA)

  • Dimensionality reduction = identification of hidden(latent) concepts
  • query matching in latent space
版权声明:本文为博主原创文章,未经博主允许不得转载。

OpenMP中数据属性相关子句详解(3): reduction子句

reduction的作用:A private copy for each list variable is created for each thread. At the end of the red...
  • Augusdi
  • Augusdi
  • 2013年04月16日 11:00
  • 6907

规约算法-reduction

CUDA Samples上的例子,可是那个封装的优点太复杂,不适合初学者看,按照上面的方法实现了一下。如下#include #include #include #include #includ...
  • MonroeD
  • MonroeD
  • 2017年05月01日 17:46
  • 585

CUDA中并行规约(Parallel Reduction)的优化

Parallel Reduction是NVIDIA-CUDA自带的例子,也几乎是所有CUDA学习者的的必看算法。在这个算法的优化中,Mark Harris为我们实现了7种不同的优化版本,将Bandwi...
  • sdujava2011
  • sdujava2011
  • 2015年11月26日 20:26
  • 900

斯坦福NG机器学习课程:Dimensionality_reduction笔记

斯坦福NG机器学习课程:Dimensionality_reduction笔记,很好讲解降维和PCA算法。
  • huruzun
  • huruzun
  • 2014年12月20日 14:18
  • 3248

policy机制中经典的python用法

由于接触python时间还不长,属于边用边学,在看项目代码的时候,遇到了很多不太懂的python语法,但是我认为这些用法用的实在是好,希望以后自己在写程序时,也能写出这么经典的代码,在这里记录下来这些...
  • qiushanjushi
  • qiushanjushi
  • 2015年01月23日 14:09
  • 563

机器学习小组知识点26:数据预处理之数据规约(Data Reduction)

数据归约策略 数据仓库中往往具有海量的数据,在其上进行数据分析与挖掘需要很长的时间 数据归约 用于从源数据中得到数据集的归约表示,它小的很多,但可以产生相同的(几乎相同的)效果 ...
  • Eric2016_Lv
  • Eric2016_Lv
  • 2016年12月06日 16:24
  • 666

人工智能—问题规约法(Reduction)[一]

问题规约表示 问题规约(Problem reduction)是另一种基于状态空间的问题描述与求解方法。已知问题的描述,通过一系列变换把此问题最终变成另一个本原问题(事实,定理)集合;这些...
  • hust_a
  • hust_a
  • 2017年03月04日 10:03
  • 650

深度学习之损失函数

1.tf.nn.l2_loss tf.nn.l2_loss(t, name=None) L2 Loss.Computes half the L2 norm of a tensor without th...
  • sinat_32043495
  • sinat_32043495
  • 2018年01月04日 10:27
  • 69

OpenMP并行程序设计——for循环并行化详解

在C/C++中使用OpenMP优化代码方便又简单,代码中需要并行处理的往往是一些比较耗时的for循环,所以重点介绍一下OpenMP中for循环的应用。个人感觉只要掌握了文中讲的这些就足够了,如果想要学...
  • zhongkejingwang
  • zhongkejingwang
  • 2014年10月22日 18:12
  • 11334

Erlang 测量进程执行时间和reduction

Erlang的进程调度不是使用时间片的分配, 而是给每个进程或Port分配一个reduction budget, 默认值是2000. 每个操作都会花费reduction, 一旦reduction bu...
  • swedenfeng
  • swedenfeng
  • 2016年12月14日 03:50
  • 567
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Week3-4Dimensionality reduction
举报原因:
原因补充:

(最多只允许输入30个字)