[C#]文本相似度检测（4) 初步成果

最新推荐文章于 2022-02-18 18:35:18 发布

lhyan792

最新推荐文章于 2022-02-18 18:35:18 发布

阅读量1.6k

点赞数

文章标签： c# 多线程工作

本文链接：https://blog.csdn.net/lhyan792/article/details/6168046

版权

文本相似度检测的程序算是编出了一个初步的原型，这是我第一次编出了一个算是能用的程序。不过这也仅仅是刚编出来，数了一下，一共700多行代码，呵呵，还是蛮有成就感的~

以后的工作：

1，多线程依然没有实现，但是所有能够进行多线程的部分都留出了接口，改起来应该不困难

2，构建实验样本，这一点应该有一定难度。没有实验就得不到好的参数，所以怎么能够批量的构建样本是个问题。

没有看到哪能上传程序，图片也传不上去，那只能这样了先~~~呵呵~~~

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

lhyan792

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
4
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

C#: 使用 Simhash 算法实现文本相似性判断

与其临渊羡鱼,不如退而结网

09-02

474

Simhash 是一种用于计算文本相似性的算法，它能够将文本数据转换成一个固定长度的哈希值，并通过比较哈希值的汉明距离来判断文本之间的相似程度。接下来，我们遍历每个词语，计算其哈希值，并将哈希值与权重相乘后相加，得到文本的 Simhash 值。哈希压缩：对 Simhash 值进行位压缩，即将每个位的值大于等于阈值的设置为 1，小于阈值的设置为 0。特征提取：对于每个词语，计算它的哈希值（可以使用任意的哈希函数），并将每个词语的哈希值与一个权重相乘后相加，得到文本的 Simhash 值。

基于C#的文本相似度检测

04-04

这是一个基于C#的反作弊系统，基于VSM空间向量模型，能对doc和txt文件进行相似度的检测，在VS2005和SQL Server 2005上实现

4 条评论您还未登录，请先登录后发表或查看评论

基于C#的文本相似度检测源代码+说明

10-09

基于C#的文本相似度检测源代码，附带算法解析和使用说明

[C#]文本相似度识别(3)

lhyan792的专栏

01-24

2606

做了一天好虚呀。目前实现了两步，都对两篇文章而言的对文章的每一段进行进行相似度识别，初步判断相似的段落；对可疑的相似段落，进一步识别哪些句子雷同，并输出结果。目前还是单线程的，而且算法优化做的比较少。遇到了一些麻烦：1，多线程的传参问题，到目前为止依然没有解决，所以还是单线程的；2，关于引用类型问题，比如（1）我把每次的结果记录在一个in[2]里面，并把每个int[2]添加到一个Arraylist里int[2]的值随着循环而改变，但是由于int[]是引用类型，所以这样做就不可行了（2）输出的时候用到了par

c#编写文本论文相似度雷同检查工具源码

05-05

c#编写文本论文相似度雷同检查工具源码.

c#图像相似度比较demo

03-04

这个"C#图像相似度比较demo"提供了一个使用灰度直方图方法来衡量两张图片之间相似度的示例。以下是对这个话题的详细解释：一、C#编程语言： C#是一种由微软开发的面向对象的编程语言，广泛应用于Windows平台上的...

C#中文文本匹配，字符串匹配，中文词语匹配，计算2个句子相似度

04-16

C#中文文本匹配，字符串匹配，中文词语匹配，计算2个句子相似度 中文匹配C#中文文本匹配，字符串匹配，中文词语匹配，计算2个句子相似度 C#中文文本匹配，字符串匹配，中文词语匹配，计算多个句子相似度 C#中文文本...

c# 图像相似度对比算法

最新发布

01-02

emgu.cv图像识别从大图中寻找小图,判断存在图的相似度 最近写了一个在一张图片中，截取一部分，通过机器判断截取图片是这张图片的。也就是说：第一、通过小图去找判断是否存在大图中，第二、小图存在大图的什么...

文本相似度计算（TF-IDF）C#

04-04

namespace ServiceRanking { /// <summary> /// Summary description for TF_IDFLib. /// </summary> public class TFIDFMeasure { private string[] _docs; private string[][] _ngramDoc; private int _numDocs=0; private int _numTerms=0; private ArrayList _terms; private int[][] _termFreq; private float[][] _termWeight; private int[] _maxTermFreq; private int[] _docFreq; public class TermVector { public static float ComputeCosineSimilarity(float[] vector1, float[] vector2) { if (vector1.Length != vector2.Length) throw new Exception("DIFER LENGTH"); float denom=(VectorLength(vector1) * VectorLength(vector2)); if (denom == 0F) return 0F; else return (InnerProduct(vector1, vector2) / denom); } public static float InnerProduct(float[] vector1, float[] vector2) { if (vector1.Length != vector2.Length) throw new Exception("DIFFER LENGTH ARE NOT ALLOWED"); float result=0F; for (int i=0; i < vector1.Length; i++) result += vector1[i] * vector2[i]; return result; } public static float VectorLength(float[] vector) { float sum=0.0F; for (int i=0; i < vector.Length; i++) sum=sum + (vector[i] * vector[i]); return (float)Math.Sqrt(sum); } } private IDictionary _wordsIndex=new Hashtable() ; public TFIDFMeasure(string[] documents) { _docs=documents; _numDocs=documents.Length ; MyInit(); } private void GeneratNgramText() { } private ArrayList GenerateTerms(string[] docs) { ArrayList uniques=new ArrayList() ; _ngramDoc=new string[_numDocs][] ; for (int i=0; i < docs.Length ; i++) { Tokeniser tokenizer=new Tokeniser() ; string[] words=tokenizer.Partition(docs[i]); for (int j=0; j < words.Length ; j++) if (!uniques.Contains(words[j]) ) uniques.Add(words[j]) ; } return uniques; } private static object

『.NET Tools』C#/.NET 计算文本相似度

老陈聊架构

06-04

3535

在.NET中快速计算文本间的相似度算法实现

文档相似度比较TF*IDF算法的实现（C#）

07-22

里面有TFIDF的实现过程，配有详细的注释

C#计算两字符串相似度

张赐荣的技术博客

02-18

2792

C#计算两字符串相似度 动态规划相似度算法经常被用来确定两个字符串文本是否相似，特别是在模糊匹配搜索中。下面封装的C#.NET函数采用动态规划法比较两个短文本之间的相似度,返回百分比(精确道小数点两位)。作者: 张赐荣 public static double ComputeTextSame (string textX, string textY, bool isCase = false) // 计算文本相似度函数(适用于短文本) { if (textX.Length <= 0 || tex

c#字符相似度对比通用类

码农

07-23

2419

go:http://www.cnblogs.com/stone_w/archive/2012/08/16/2642679.html 本类适用于比较2个字符的相似度，代码如下： View Code 调用方法： // 方式一 StringCompute stringcompute1 = new StringCompute(); stringcompute1.Speedy

python jieba 文本相似度_使用jieba和gensim模块判断文本相似度

weixin_39616565的博客

12-17

688

本文重新整理的更详细规范的介绍见这里判断文本的相似度在很多地方很有用，比如在爬虫中判断多篇已爬取的文章是否相似，只对不同文章进一步处理可以大大提高效率。在Python中，可以使用gensim模块来判断长篇文章的相似度。点这里进官网官方的文档部分内容实在太含糊了，网上也找不到很有用的文章，所以我现在写下来记录一下自己的踩坑史。实际中我用的是数据库抽取的批量文章，所以就不放上来了，只讲代码本身使用。假...

文本相似度分析（基于jieba和gensim）

weixin_33701251的博客

04-13

925

基础概念本文在进行文本相似度分析过程分为以下几个部分进行，文本分词语料库制作算法训练结果预测分析过程主要用两个包来实现jieba，gensim jieba:主要实现分词过程 gensim：进行语料库制作和算法训练结巴（jieba）分词在自然语言处理领域中，分词和提取关键词都是对文本处理时通常要进行的步骤。用Python语言对英文文本进行预处理时可选择NLTK库，中文文本预处...

lda 可以处理中文_中文分词（jieba）和语料库制作（gensim）

weixin_39899021的博客

11-21

1288

本文的内容为以下两个部分：文本分词（jieba）语料库制作（gensim）结巴（jieba）分词在自然语言处理领域中，分词和提取关键词都是对文本处理时通常要进行的步骤。用Python语言对英文文本进行预处理时可选择NLTK库，中文文本预处理可选择jieba库。结巴分词是基于统计的分词方法，它对给出大量已经分词的文本，利用统计机器学习模型学习词语切分的规律（称为训练），从而实现对未知文本的切分。例如...

jieba分词以及word2vec词语相似度

qq_33805714的博客

05-28

516

去除标点符号，下一步开始文本相似度计算：参考文章： http://www.jb51.net/article/139690.htm from gensim.models import Word2Vec model = Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.0...

C# 计算两个字符串的相似度

01-02

504

C# 计算两个字符串的相似度 我们在做数据系统的时候，经常会用到模糊搜索，但是，数据库提供的模糊搜索并不具备按照相关度进行排序的功能。现在提供一个比较两个字符串相似度的方法。通过计算出两个字符串的相似度，就可以通过Linq在内存中对数据进行排序和筛选...

C#文本文件编码检测示例与常见编码识别

本文将详细介绍如何在C#中检测文本文件的编码，以确保正确解析文件内容。C#提供了一种相对简单且避免使用未管理代码（如MLang，原用于Internet Explorer）的方式，专注于识别最常见的Unicode编码变种，如UTF-8、...