![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习算法
文章平均质量分 59
ASS-ASH
人工智能,机器学习,深度学习,自然语言处理,情感分析
展开
-
支持向量机(SVM)进行文本分类的Python简单示例实现
它的基本思想是将数据映射到高维空间中,使得数据在该空间中线性可分,然后在该空间中寻找最优的超平面,将不同类别的数据分开。在训练过程中,SVM会寻找最大间隔超平面,即距离支持向量最远的超平面。这样可以使得分类器的泛化能力更好,对新的数据具有更好的预测能力。如果你的数据来源于一个CSV文件中的很多条文本,你可以使用Python中的pandas库来读取CSV文件。SVM的优点在于可以处理高维数据,具有较好的泛化能力和鲁棒性。同时,SVM还可以使用核函数将数据映射到更高维的空间中,从而处理非线性问题。原创 2024-01-10 15:26:57 · 1880 阅读 · 0 评论 -
朴素贝叶斯进行垃圾邮件分类的python简单示例实现
朴素贝叶斯(Naive Bayes)是一种基于贝叶斯定理的分类算法,它的核心思想是利用特征之间的独立性来简化分类问题。具体来说,朴素贝叶斯假设每个特征与其他特征之间是相互独立的,即每个特征对于分类结果的影响是相互独立的,这样就可以将多维特征空间简化为一维特征空间,从而大大降低了计算复杂度。但是,它的缺点是对于特征之间存在较强的相关性的数据集表现不佳。这只是一个简单的示例代码,实际应用中可能需要进行更多的数据预处理和特征工程,以及调参等操作来提高分类器的性能。字段是邮件的内容,是一个字符串类型的变量。原创 2024-01-10 15:10:38 · 580 阅读 · 0 评论 -
关于损失函数计算的L1损失(MAE)、L2损失(MSE)
但是,无论对于什么样的输入值,都有着稳定的梯度,不会导致梯度爆炸问题,具有较为稳健性的解。MSE处处可导,而且梯度值也是动态变化的,能够快速的收敛;而且,随着误差的减小,梯度也在减小,这有利于收敛,即使使用固定的学习速率,也能较快的收敛到最小值。这种情况下,MSE和MAE都是不可取的,简单的办法是对目标变量进行变换,或者使用别的损失函数,例如:Huber,Log-Cosh以及分位数损失等。可见,使用 MSE 损失函数,受离群点的影响较大,虽然样本中只有 5 个离群点,但是拟合的直线还是比较偏向于离群点。..转载 2022-08-16 12:04:24 · 3621 阅读 · 0 评论 -
关于word2vec词向量化
word2vec最主要的目的就是进行文本向量化词向量维度通常是50-300维,goole官方提供的一般是用300维,有了词向量就可以用各种方法进行相似度计算;一般维度越高,提供的信息越多,计算结果可靠性也更值得信赖。普通的向量空间模型没有考虑语义、语法以及上下文联系等信息,忽略了中文文本一词多义的现象,容易造成信息遗漏。而基于词语分布式表达的方法( Word2vec)则能够很好地解决上述问题,将每一个特征词转化为固定维度的向量,再选择适当的方法进行加权,便可得到每一条文本对应的向量。同时很好地解决了原创 2022-02-12 17:18:45 · 6309 阅读 · 5 评论 -
一文看懂python中if not用法
l=[1,2,3,4,5,6]m1=[]m2=[]m3=[]m4=[]m5=[]for i in l: if i%2==0: m1.append(i) #如果i对2取余数为0则加入列表 if not i%2: m2.append(i) #举例:1对2取余为1,not 1则为0,表示False,不添加; #2对2取余数为0,not 0则为1,表示True,添加 if i%2 is None.原创 2021-12-05 21:28:46 · 1902 阅读 · 1 评论 -
关于Pytorch中的向量拼接
torch.catA=torch.ones(2,4)print(A)B=2*torch.ones(2,4)print(B)C=torch.cat((A,B),0)print(C)D=torch.cat((A,B),1)print(D)#A的输出tensor([[1., 1., 1., 1.], [1., 1., 1., 1.]])#B的输出tensor([[2., 2., 2., 2.], [2., 2., 2., 2.]])#C的输出te原创 2021-11-17 17:00:03 · 3791 阅读 · 0 评论 -
Word2Vec相关(用TFIDF加权词向量)
Word2Vec模型直接用开源的gensism库进行词向量训练:plain对语料进行分词plain Word2Vec模型 直接用开源的gensism库进行词向量训练: plain import gensimimport nltkimport numpy as np#自制语料CORPUS = ['the sky is blue','sky is blue and sky is beautiful','the beautiful转载 2021-11-01 17:16:49 · 3416 阅读 · 0 评论 -
Python如何使用gensim模块中的Word2vector训练语料的向量矩阵
from gensim.models.word2vec import Word2Vec #pip install gensim安装即可import jiebaimport pandas as pd #导入所需的库s=open(r'D:\语料.txt','r',encoding='utf-8') #分词l=[]for i in s.readlines(): i=' '.join(jieba.cut(i[:-1])) l.append(i+'\n')n_dim=300w2.原创 2021-10-21 22:05:25 · 697 阅读 · 0 评论 -
中文文本关键词抽取(TF-IDF、TextRank、word2vec)
GitHub项目链接:mirrors / AimeeLee77 / keyword_extraction · CODE CHINA1、基于TF-IDF的文本关键词抽取方法词频(Term Frequency,TF)指某一给定词语在当前文件中出现的频率。由于同一个词语在长文件中可能比短文件有更高的词频,因此根据文件的长度,需要对给定词语进行归一化,即用给定词语的次数除以当前文件的总词数。逆向文件频率(Inverse Document Frequency,IDF)是一个词语普遍重...转载 2021-09-27 17:11:47 · 3353 阅读 · 0 评论 -
关于textrank算法
TextRank算法TextRank算法是一种基于图的用于关键词抽取和文档摘要的排序算法,由谷歌的网页重要性排序算法PageRank算法改进而来,它利用一篇文档内部的词语间的共现信息(语义)便可以抽取关键词,它能够从一个给定的文本中抽取出该文本的关键词、关键词组,并使用抽取式的自动文摘方法抽取出该文本的关键句。TextRank算法的基本思想是将文档看作一个词的网络,该网络中的链接表示词与词之间的语义关系。TextRank算法计算公式:TextRank算法是利用局部词汇之间关系(共现窗口)对原创 2021-09-26 20:16:29 · 549 阅读 · 0 评论