大数据开发 NLP文本相似度，大数据开发开发知识体系

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

nlp 自然语言处理

1. 个体间的相似程度 一般用余弦相似度 个体间的相似程度 一般用余弦相似度表示

cosA=a·b/|a|·|b|

得到了文本相似度计算的处理流程是:

– 找出两篇文章的关键词；

– 每篇文章各取出若干个关键词，合并成一个集合，计算每篇文章对于这个集合中的

词的词频

– 生成两篇文章各自的词频向量；

– 计算两个向量的余弦相似度，值越大就表示越相似。

2. 词频——TF（Term Frequency）

• ：一个词在文章中出现的次数

• 也不是绝对的！出现次数最多的是“的”“是”“在”，这类最常用的词，

叫做停用词（stop words）

• 停用词对结果毫无帮助，必须过滤掉的词

• 如果某个词比较少见，但是它在这篇文章中多次出现，那

么它很可能反映了这篇文章的特性，正是我们所需要的关键词

3. 反文档频率 -IDF

• 在词频的基础上，赋予每一个词的权重，进一步体现该词的重要性，

• 最常见的词（“的”、“是”、“在”）给予最小的权重

• 较常见的词（“国内”、“中国”、“报道”）给予较小的权重

• 较少见的词（“养殖”、“维基”、“涨停”）较大权重

4.TF·IDF值越大 该词的越重要

反文档频率（IDF）= log（ 语料库文档数/包含这个关键词的文档数+1）

应用：

• 相似文章

• 使用TF-IDF算法，找出两篇文章的关键词；

• 每篇文章各取出若干个关键词，合并成一个集合，计算每篇文章对于这个集合

中的词的词频；

• 生成两篇文章各自的词频向量；

• 计算两个向量的余弦相似度，值越大就表示越相似。

• 文章摘要

5.L C S 定 义

• 最长公共子序列（Longest Common Subsequence）

• 一个序列S任意删除若干个字符得到的新序列T，则T叫做S的子序列

• 两个序列X和Y的公共子序列中，长度最长的那个，定义为X和Y的最长公共子序

列

– 字符串12455与245576的最长公共子序列为2455

– 字符串acdfg与adfc的最长公共子序列为adf

• 注意区别最长公共子串（Longest Common Substring）

– 最长公共子串要求连接

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

1713390931135)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！