NLP
Marine丶
USTCer
展开
-
NLP理论基础和实践(基础)task-04
1,朴素贝叶斯朴素贝叶斯的原理利用朴素贝叶斯模型进行文本分类 2,SVM模型SVM的原理利用SVM模型进行文本分类 3,LDA主题模型pLSA、共轭先验分布LDA使用LDA生成主题特征,在之前特征的基础上加入主题特征进行文本分类LDA数学八卦 lda2 合并特征原创 2019-08-13 19:17:34 · 227 阅读 · 0 评论 -
NLP基础入门学习(代码详细解释)
一.imdb数据集下载和探索我们将使用 IMDB 数据集,其中包含来自互联网电影数据库的 50000 条影评文本。我们将这些影评拆分为训练集(25000 条影评)和测试集(25000 条影评)。训练集和测试集之间达成了平衡,意味着它们包含相同数量的正面和负面影评。1.数据集下载及可能出现的问题(train_data, train_labels), (test_data, test_label...原创 2019-08-07 17:00:16 · 1351 阅读 · 0 评论 -
NLP理论基础和实践(基础)task-03
【特征选择 (2 days)】TF-IDF原理。TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率).是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率...原创 2019-08-11 15:56:27 · 146 阅读 · 0 评论