向量空间模型文档相似度计算实现（C#）

最新推荐文章于 2023-09-13 16:40:11 发布
原创 最新推荐文章于 2023-09-13 16:40:11 发布 · 1.3w 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#文档 #c# #dictionary #string #regex #优化

本文档介绍了如何使用C#实现向量空间模型（VSM）来计算文档之间的相似度。提供了构造函数、相似度计算方法以及统计文档词频词典的方法。代码中包含了降维词表，可用于优化相似度计算效率。

读者可以根据自己的需要进行加壳或改写，本文权当抛砖引玉。

笔者加的壳在：

http://download.csdn.net/source/1143450

 

VSM模型介绍：

http://blog.csdn.net/Felomeng/archive/2009/03/25/4024078.aspx

 

using System;

using System.Collections.Generic;

using System.Linq;

using System.Text;

using System.Text.RegularExpressions;

 

namespace Felomeng.VSMSimilarity

{

    class SVMModle

    {

        /// <summary>

        /// 降维词表

        /// </summary>

        private List<string> reducingKeys = new List<string>();

        /// <summary>

        /// 构造函数：使用降维表

        /// </summary>

        /// <param name="reducingKeys">降维词表</param>

        public SVMModle(List<string> reducingKeys)

        {

            this.reducingKeys = reducingKeys;

        }

        /// <summary>

        /// 构造函数：不使用降维表

最低0.47元/天 解锁文章
文档向量模型及其实践-计算文档的相似度
木杨的博客
11-29 1731
期末大作业的其中一部分是要求对文档进行相似度计算，并提示可以用文档词向量的方法来做。于是查了一些资料。 然后引出了 空间向量模型（VSM） 这个概念。 空间向量模型 向量空间模型(VSM：Vector Space Model)由Salton等人于20世纪70年代提出，并成功地应用于著名的SMART文本检索系统。 VSM概念简单,把对文本内容的处理简化为向量空间中的向量运算,并且它以空间上的相...
向量空间模型在文档相似度上的应用
最新发布
qq_36128101的博客
03-31 1688
向量空间模型（Vector Space Model, VSM），是将文本表示为特定术语、词索引的向量，即通过已有的词典。它以空间上的相似度表达语义的相似度，当文档被表示为文档空间的向量，就可以通过计算向量之间的相似性来度量文档间的相似性。
【机器学习】干货：计算两个向量之间相似性的方法（含源代码）
wzk4869的博客
09-13 1万+
【机器学习】干货：计算两个向量之间相似性的方法（含源代码）
向量相似度的算法实现
04-24
向量空间模型是信息检索中最重要的形式化模型之一，向量相似度是对向量空间模型评分的重要依据。本实验需要编程实现向量相似度的基本算法。
C#实现向量空间模型的相似度计算方法
### 向量空间模型相似度计算原理 相似度计算的基础是向量间的夹角余弦值。两个向量的夹角余弦值越接近于1，说明这两个向量的方向越相似，即两个文档或查询越相似。夹角余弦值（Cosine Similarity）的计算公式如下：...
C#实现的SVM文本相似度计算与向量空间模型应用
1. "向量空间模型文档相似度计算实现（C#）.doc"：这个文件可能包含关于向量空间模型（Vector Space Model，VSM）的基础理论与在C#语言中的实现细节。VSM是一种用于信息检索的数学模型，它把文档或者查询看作高维...
C#实现文本相似度检测与向量空间模型解析
向量空间模型文档相似度计算实现（C#）.doc： - 文档对如何使用C#编程语言实现向量空间法模型进行文档相似度计算进行了深入讲解。 - 包含了具体的算法实现步骤、C#代码片段及对代码的详细说明，帮助理解在C#环境中...
C# 使用SIMD向量类型加速浮点数组求和运算（1）：使用Vector4、Vector＜T＞
「 虚幻私塾」
08-20 727
大小固定的向量类型，是以下3种结构体——Vector2：表示一个具有两个单精度浮点值的向量。Vector3：表示一个具有三个单精度浮点值的向量。Vector4：表示一个具有四个单精度浮点值的向量。它们实际上是对数学（线性代数分支）里“向量”（Vector）的封装。命名规则为“‘Vector’ + [维数]”，例如 Vector2是数学里的“二维向量”、Vector3是数学里的“三维向量”、Vector4是数学里的“四维向量”。
（6）文本挖掘（三）——文本特征TFIDF权重计算及文本向量空间VSM表示
好女绪的博客
03-28 1万+
建立文本数据数学描述的过程分为三个步骤：文本预处理、建立向量空间模型和优化文本向量。文本预处理主要采用分词、停用词过滤等技术将原始的文本字符串转化为词条串或者特点的符号串。文本预处理之后，每一个文本的词条串被进一步转换为一个文本向量，向量的每一维对应一个词条，其值反映的是这个词条与这个文本之间的相似度。相似度有很多不同的计算方法，所以优化文本向量就是采用最为合适的计算方法来规范化文本向量，使其能更好
C# 实现两个word文件的详细比较
06-19
使用C#实现两个word文件的详细比较,代码简洁,实例简单，直接套进自己项目即可
文本相似度计算（TF-IDF）C#
04-04
namespace ServiceRanking { /// <summary> /// Summary description for TF_IDFLib. /// </summary> public class TFIDFMeasure { private string[] _docs; private string[][] _ngramDoc; private int _numDocs=0; private int _numTerms=0; private ArrayList _terms; private int[][] _termFreq; private float[][] _termWeight; private int[] _maxTermFreq; private int[] _docFreq; public class TermVector { public static float ComputeCosineSimilarity(float[] vector1, float[] vector2) { if (vector1.Length != vector2.Length) throw new Exception("DIFER LENGTH"); float denom=(VectorLength(vector1) * VectorLength(vector2)); if (denom == 0F) return 0F; else return (InnerProduct(vector1, vector2) / denom); } public static float InnerProduct(float[] vector1, float[] vector2) { if (vector1.Length != vector2.Length) throw new Exception("DIFFER LENGTH ARE NOT ALLOWED"); float result=0F; for (int i=0; i < vector1.Length; i++) result += vector1[i] * vector2[i]; return result; } public static float VectorLength(float[] vector) { float sum=0.0F; for (int i=0; i < vector.Length; i++) sum=sum + (vector[i] * vector[i]); return (float)Math.Sqrt(sum); } } private IDictionary _wordsIndex=new Hashtable() ; public TFIDFMeasure(string[] documents) { _docs=documents; _numDocs=documents.Length ; MyInit(); } private void GeneratNgramText() { } private ArrayList GenerateTerms(string[] docs) { ArrayList uniques=new ArrayList() ; _ngramDoc=new string[_numDocs][] ; for (int i=0; i < docs.Length ; i++) { Tokeniser tokenizer=new Tokeniser() ; string[] words=tokenizer.Partition(docs[i]); for (int j=0; j < words.Length ; j++) if (!uniques.Contains(words[j]) ) uniques.Add(words[j]) ; } return uniques; } private static object
LCS计算文章相似度--C#源程序
08-14
本程序是为了熟悉lcs算法，通过使用lcs算法来计算两篇文章的相似度
C语言两个文本相似度的算法,两个文本相似度算法实现和对比
weixin_42513152的博客
05-24 1941
背景最近做一个爬虫相关的项目,需要排除掉一些相似的链接,比如分页控件里上一页,下一页等等没什么用的链接.编辑距离算法编辑距离，又称Levenshtein距离(莱文斯坦距离也叫做Edit Distance)，是指两个字串之间，由一个转成另一个所需的最少编辑操作次数，如果它们的距离越大，说明它们越是不同。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。这个概念是由俄罗斯科学家...
文本相似度ld和lcs算法—c语言版,文本相似度算法
weixin_39609887的博客
05-25 401
文本比較算法摘要: 研究文本比較算法已經一段時間了。把思路重新理了理。 在“文本比較算法Ⅳ——Nakatsu算法”中提到“對角線上的數字就是最長公共子序列的下標”。 在“文本比較算法Ⅶ——線性空間求最長公共子序列的Nakatsu算法”中提到“每行最左邊不為V的數字就是最長公共子序列的下標”。 以上兩個結論，網友Sumtec都提出了質疑，並提出了反例。經過本人的驗算，Sumtec是正確的，我的文章有...
文本相似度ld和lcs算法—c语言版,文本相似度计算_01
weixin_39861882的博客
05-25 877
近期准备整理一下自然语言处理方面用到的技术，之前工作都是按照工作需求来走，对用到的技术算法也没有做一下系统性的整体，所以近期准备系统性的整理一下自然语言处理相关的内容。初步构想涉及6个方面的问题。文本相似度的计算文本关键词提取文本分类情感分析文本主题提取命名实体识别常用的文本相似度的计算方式主要分为基于字符串的与基于语料库的方式。本篇先来讨论一下常用的基于字符串的相似度计算方法。基于字符串的文本相...
常用的相似度计算方法原理及实现
yixianfeng41的专栏
04-11 13万+
在数据分析和数据挖掘以及搜索引擎中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。常见的比如数据分析中比如相关分析，数据挖掘中的分类聚类（K-Means等）算法，搜索引擎进行物品推荐时。 相似度就是比较两个事物的相似性。一般通过计算事物的特征之间的距离，如果距离小，那么相似度大；如果距离大，那么相似度小。比如两种水果，将从颜色，大小，维生素含量等特征进行比较相似性。 问题定义：
相似度算法之余弦相似度
热门推荐
牧野之歌
07-16 24万+
转自：http://blog.csdn.net/u012160689/article/details/15341303 余弦距离，也称为余弦相似度，是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。 余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫"余弦相似性"。 上图两个向量a,b的夹角很小可以说a向量和b向量有很高的的相似性，
C#计算两字符串相似度
张赐荣的技术博客
02-18 3022
C#计算两字符串相似度 动态规划相似度算法经常被用来确定两个字符串文本是否相似，特别是在模糊匹配搜索中。 下面封装的C#.NET函数采用动态规划法比较两个短文本之间的相似度,返回百分比(精确道小数点两位)。 作者: 张赐荣 public static double ComputeTextSame (string textX, string textY, bool isCase = false) // 计算文本相似度函数(适用于短文本) { if (textX.Length <= 0 || tex
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值