![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
算法
文章平均质量分 89
左岸Jason
这个作者很懒,什么都没留下…
展开
-
NLP-基于机器学习的文本分类-垃圾邮件分类
目录一、文本分类的步骤二、提取特征的经典方法三、分类器方法1.朴素贝叶斯(Naive Bayesian, NB)2.逻辑回归(Logistic Regression, lR)3.支持向量机(Support Vector Machine, SVM)四、垃圾邮件分类实战代码一、文本分类的步骤定义阶段:定义数据以及分类体系,具体分为哪些类别,需要哪些数据。数据预处理:对文档做分词、去停用词等准备工作。数据提取特征:对文档矩阵进行降维,提取训练集中最有用的特征。模型训练阶段:选择具体的分类模型以及算法,原创 2021-12-03 18:21:56 · 3622 阅读 · 0 评论 -
NLP-关键词提取
gensim进行LSI LSA LDA主题模型,TFIDF关键词提取,jieba TextRank关键词提取#提取关键词 Jieba+Gensimimport mathimport jiebaimport jieba.posseg as psgfrom gensim import corpora,modelsfrom jieba import analyseimport functools# 加载停用词def get_stopword_list():# 停用词表的存储路径,每一行为一个词原创 2021-11-17 11:38:04 · 2024 阅读 · 1 评论 -
NLP-二分类的应用-区分外卖评论好评/差评
目录一、概念二、二分类实战-划分好评/差评1.处理步骤2.实战代码一、概念文本分类一般可以分为二分类、多分类、多标签分类三种情况。二分类是指将一组文本分成两个类(0或1),比较常见的应用如垃圾邮件分类、电商网站的用户评价数据的正负面分类等,多分类是指将文本分成若干个类中的某一个类,比如说门户网站新闻可以归属到不同的栏目中(如政治、体育、社会、科技、金融等栏目)去。多标签分类指的是可以将文本分成若干个类中的多个类,比如一篇文章里即描写政治又描写金融等内容,那么这篇文章可能会别贴上政治和金融两个标签原创 2021-11-17 11:13:30 · 7009 阅读 · 17 评论 -
中文分词工具jieba使用-高频热词提取
目录一、概念二、使用1.基本2.实战-高频热词提取一、概念近年来,随着NLP技术的日益成熟,开源实现的分词工具越来越多,如Ansj、盘古分词等。本文选择的是更易上手的Jieba做简单介绍。原理:Jieba分词结合了基于规则和基于统计这两类方法。首先基于前缀词典进行词图扫描,前缀词典是指词典中的词按照前缀包含的顺序排列,例如词典中出现了“上”,之后以“上”开头的词都会出现在这一部分,例如“上海”,进而会出现“上海市”,从而形成一种层级包含结构。如果将词看作节点,词和词之间的分词符看作边,那么一种分词方原创 2021-11-09 16:12:43 · 6424 阅读 · 0 评论 -
NLP文本相似度算法LCS
目录一、什么是LCS子序列最长公共子序列二、LCS的应用场景三、LCS的查找方法-动态规划法四、代码实现一、什么是LCS子序列子序列:一个序列S任意删除若干个字符得到的新序列T,则T叫做S的子序列最长公共子序列最长公共子序列(Longest Common Subsequence):两个序列X和Y的公共子序列中,长度最长的那个,定义为X和Y的最长公共子序列二、LCS的应用场景文本匹配:即字面匹配,是自然语言处理中一个重要的基础问题,可以应用于大量的NLP任务中,如信息检索、问答系统、复述问题、对原创 2021-11-05 10:09:41 · 2092 阅读 · 1 评论 -
实时推荐算法的实现
文章目录影视实时推荐算法的实现一、实时推荐算法的前提二、算法过程如下1. 获取用户的 K 次最近评分2. 获取当前电影最相似的 K 个电影3. 电影推荐优先级计算4. 将结果保存到 mongoDB5. 更新实时推荐结果影视实时推荐算法的实现根据用户对电影的评价,实时更新该用户的推荐电影列表一、实时推荐算法的前提在 Redis 集群中存储了每一个用户最近对电影的 K 次评分。实时算法可以快...原创 2020-04-14 15:54:06 · 3114 阅读 · 0 评论 -
朴素贝叶斯分类的应用
朴素贝叶斯分类分为三个阶段1.第一阶段——准备工作阶段,这个阶段的任务是为朴素贝叶斯分类做必要的准备,主要工作是根据具体情况确定特征属性,并对每个特征属性进行适当划分,然后由人工对一部分待分类项进行分类,形成训练样本集合。这一阶段的输入是所有待分类数据,输出是特征属性和训练样本。这一阶段是整个朴素贝叶斯分类中唯一需要人工完成的阶段,其质量对整个过程将有重要影响,分类器的质量很大程度上由特征属性、...原创 2020-03-31 16:32:23 · 868 阅读 · 0 评论