[C#]文本相似度识别(3)

最新推荐文章于 2024-09-29 22:44:21 发布

lhyan792

最新推荐文章于 2024-09-29 22:44:21 发布

阅读量2.5k

点赞数

文章标签： c# 多线程 object string 算法优化

本文链接：https://blog.csdn.net/lhyan792/article/details/6161727

版权

做了一天好虚呀。

目前实现了两步，都对两篇文章而言的

对文章的每一段进行进行相似度识别，初步判断相似的段落；

对可疑的相似段落，进一步识别哪些句子雷同，并输出结果。

目前还是单线程的，而且算法优化做的比较少。

遇到了一些麻烦：

1，多线程的传参问题，到目前为止依然没有解决，所以还是单线程的；

2，关于引用类型问题，比如

（1）

我把每次的结果记录在一个in[2]里面，并把每个int[2]添加到一个Arraylist里

int[2]的值随着循环而改变，但是由于int[]是引用类型，所以这样做就不可行了

（2）

输出的时候用到了

param 的修饰符，比较好用；

StringBuilder这个东西也很好

再有就是遇到传参有什么困难时，干脆就全部转化成String，然后再转回去；

关于Arraylist，它实际是object型的，对于整体可以用Toarray转化为数组，对于元素可以强制转化为需要的类型

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

lhyan792

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

python jieba 文本相似度_文本相似度分析（基于jieba和gensim）

weixin_39648430的博客

12-17

2532

##基础概念本文在进行文本相似度分析过程分为以下几个部分进行，文本分词语料库制作算法训练结果预测分析过程主要用两个包来实现jieba，gensimjieba:主要实现分词过程gensim：进行语料库制作和算法训练##结巴(jieba)分词在自然语言处理领域中，分词和提取关键词都是对文本处理时通常要进行的步骤。用Python语言对英文文本进行预处理时可选择NLTK库，中文文本预处理可选择jieba库...

基于C#的文本相似度检测

04-04

这是一个基于C#的反作弊系统，基于VSM空间向量模型，能对doc和txt文件进行相似度的检测，在VS2005和SQL Server 2005上实现

参与评论您还未登录，请先登录后发表或查看评论

基于C#的文本相似度检测源代码+说明

10-09

基于C#的文本相似度检测源代码，附带算法解析和使用说明

c#编写文本论文相似度雷同检查工具源码

05-05

c#编写文本论文相似度雷同检查工具源码.

文本相似度计算（TF-IDF）C#

04-04

namespace ServiceRanking { /// <summary> /// Summary description for TF_IDFLib. /// </summary> public class TFIDFMeasure { private string[] _docs; private string[][] _ngramDoc; private int _numDocs=0; private int _numTerms=0; private ArrayList _terms; private int[][] _termFreq; private float[][] _termWeight; private int[] _maxTermFreq; private int[] _docFreq; public class TermVector { public static float ComputeCosineSimilarity(float[] vector1, float[] vector2) { if (vector1.Length != vector2.Length) throw new Exception("DIFER LENGTH"); float denom=(VectorLength(vector1) * VectorLength(vector2)); if (denom == 0F) return 0F; else return (InnerProduct(vector1, vector2) / denom); } public static float InnerProduct(float[] vector1, float[] vector2) { if (vector1.Length != vector2.Length) throw new Exception("DIFFER LENGTH ARE NOT ALLOWED"); float result=0F; for (int i=0; i < vector1.Length; i++) result += vector1[i] * vector2[i]; return result; } public static float VectorLength(float[] vector) { float sum=0.0F; for (int i=0; i < vector.Length; i++) sum=sum + (vector[i] * vector[i]); return (float)Math.Sqrt(sum); } } private IDictionary _wordsIndex=new Hashtable() ; public TFIDFMeasure(string[] documents) { _docs=documents; _numDocs=documents.Length ; MyInit(); } private void GeneratNgramText() { } private ArrayList GenerateTerms(string[] docs) { ArrayList uniques=new ArrayList() ; _ngramDoc=new string[_numDocs][] ; for (int i=0; i < docs.Length ; i++) { Tokeniser tokenizer=new Tokeniser() ; string[] words=tokenizer.Partition(docs[i]); for (int j=0; j < words.Length ; j++) if (!uniques.Contains(words[j]) ) uniques.Add(words[j]) ; } return uniques; } private static object

c#图像相似度比较demo

08-10

3. **相似度度量**：在C# demo中，可能会采用归一化的交叉相关性或直方图的KL散度作为相似度指标。归一化的交叉相关性可以衡量两个序列的相关程度，而KL散度则衡量了两个概率分布之间的差异。 4. **应用与测试**：...

Levenshtein.rar 文本相似度比较

04-16

这里我们关注的是“Levenshtein.rar”压缩包，它包含了一个使用C#实现的文本相似度比较工具。这个工具利用了Levenshtein距离算法，这是一种衡量两个字符串差异程度的方法。 Levenshtein距离算法，又称为编辑距离，...

『.NET Tools』C#/.NET 计算文本相似度

老陈聊架构

06-04

3506

在.NET中快速计算文本间的相似度算法实现

文档相似度比较TF*IDF算法的实现（C#）

07-22

里面有TFIDF的实现过程，配有详细的注释

人工智能-项目实践-C#-基于C#和C++开发的文本查重论文查重系统，一亿字次级论文库秒级查重关联：查重算法、数据去重、文档查

01-05

c 使用说明： 2、使用vs打开、编译（vs需安装.NET开发组件） 3、运行paper_checking.exe文件即可兼容性要求： windows 7及以上，可用内存1.5GB以上。开发工具：vs2017及以上，需安装vc2015运行库和.NET Framework4.6。其它版本需自行测试。

[C#]文本相似度检测（4) 初步成果

lhyan792的专栏

01-28

1657

文本相似度检测的程序算是编出了一个初步的原型，这是我第一次编出了一个算是能用的程序。不过这也仅仅是刚编出来，数了一下，一共700多行代码，呵呵，还是蛮有成就感的~ 以后的工作： 1，多线程依然没有实现，但是所有能够进行多线程的部分都留出了接口，改起来应该不困难 2，构建实验样本，这一点应该有一定难度。没有实验就得不到好的参数，所以怎么能够批量的构建样本是个问题。 没有看到哪能上传程序，图片也传不上去，那只能这样了先~~~呵呵~~

C# 中如何判断字符串的相似度

weixin_30802171的博客

12-27

1675

C#中文文本匹配，字符串匹配，中文词语匹配，计算2个句子相似度

u012080807的博客

04-16

1294

C#中文文本匹配，字符串匹配，中文词语匹配，计算2个句子相似度 向量在数学上余弦定义如下： (https://img-blog.csdnimg.cn/67190e6263ad4acab813496d6de2be18.webp?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5p2O55qT6ZyG,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center) 因此我们

C#计算两字符串相似度

张赐荣的技术博客

02-18

2759

C#计算两字符串相似度 动态规划相似度算法经常被用来确定两个字符串文本是否相似，特别是在模糊匹配搜索中。下面封装的C#.NET函数采用动态规划法比较两个短文本之间的相似度,返回百分比(精确道小数点两位)。作者: 张赐荣 public static double ComputeTextSame (string textX, string textY, bool isCase = false) // 计算文本相似度函数(适用于短文本) { if (textX.Length <= 0 || tex

[C#]文本相似度识别(2)

lhyan792的专栏

01-21

1549

目前完成了K均值的聚类的程序发现了以下问题：1，速度太慢：当文本长度较长时，在读入文本、转码的时候，速度太慢；2，对于文献相似度识别应用在作业时，整篇的检测不是很恰当，因为作业本来就是高度相似的。有以下想法：1，MD5这个转码没有研究过，但认为是这个的速度太慢了，不适合整个文本的检验；2，考虑按句子比较，先对句子进行聚类，然后比较句子的相似度

c#字符相似度对比通用类

码农

07-23

2408

go:http://www.cnblogs.com/stone_w/archive/2012/08/16/2642679.html 本类适用于比较2个字符的相似度，代码如下： View Code 调用方法： // 方式一 StringCompute stringcompute1 = new StringCompute(); stringcompute1.Speedy

python jieba 文本相似度_使用jieba和gensim模块判断文本相似度

weixin_39616565的博客

12-17

680

本文重新整理的更详细规范的介绍见这里判断文本的相似度在很多地方很有用，比如在爬虫中判断多篇已爬取的文章是否相似，只对不同文章进一步处理可以大大提高效率。在Python中，可以使用gensim模块来判断长篇文章的相似度。点这里进官网官方的文档部分内容实在太含糊了，网上也找不到很有用的文章，所以我现在写下来记录一下自己的踩坑史。实际中我用的是数据库抽取的批量文章，所以就不放上来了，只讲代码本身使用。假...

C#基于SkiaSharp实现印章管理（10）