nlp自然语言处理
模型
自然语言处理玄学实践者
idqq不是本人qq。有事请联系本人qq522671725
展开
-
Ma Jing博士的谣言检测 论文总结
第一篇《Detect Rumors Using Time Series of Social Context Information on Microblogging Websites》由于谣言检测模型只是对用户信息,模式传播和文本内容进行建模,忽略了时间的变化这一信息。作者提出了一种DSTS模型。第二篇《Detecting Rumors from Microblogs with Recurre...原创 2020-03-17 05:09:18 · 2499 阅读 · 3 评论 -
准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1值(F-Measure)
一、准确率、精确率、召回率和 F 值 是选出目标的重要评价指标。不妨看看这些指标的定义先:(1)若一个实例是正类,但是被预测成为正类,即为真正类(True Postive TP)(2)若一个实例是负类,但是被预测成为负类,即为真负类(True Negative TN)(3)若一个实例是负类,但是被预测成为正类,即为假正类(False Postive FP)(4)若一个实例是正类,但是被预测...原创 2020-03-16 09:27:47 · 1380 阅读 · 0 评论 -
使用PaddlePaddle进行微博谣言检测
近期,在新冠肺炎疫情防控的关键期,网上各种有关疫情防控的谣言接连不断,这些谣言操纵了舆论感情,误导了公众判断,更影响了社会稳定。本项目基于基于循环神经网络(RNN)的课言检测模型实现了微博谣言检测本实践使用 Paddle Fluid API 编程并搭建一个循环神经网络(Recurrent Neural Network,RNN),进行谣言检测。主要分为五个步骤:1.数据准备2.模型配置3.模...原创 2020-03-15 12:12:21 · 3582 阅读 · 6 评论 -
SnowNLP实现情感分类
输入一个csv数据,把数据分类到积极,消极的csv文件中# -*- coding:utf-8 -*-from snownlp import SnowNLP# 加载情感分析模块from snownlp import sentimentfileee="D:\PycharmProjects2020\qingganfenlei\data\weibo1.csv"# text = '大麦多开一个...原创 2020-03-14 08:08:31 · 1104 阅读 · 0 评论 -
pagerank算法及希拉里邮件门 处理
希拉里邮件门:# 定义别名转换函数def unify_name(name): # 统一name为小写字母 name = str(name).lower() # 去掉,和; 以及 @ 后面的内容 name = name.replace(',', '') name = name.replace(';', '').split('@')[0] # 别名转...原创 2020-03-14 08:05:19 · 716 阅读 · 0 评论 -
对爬取到的微博进行数据处理,jieba分词去停词,tf-idf关键词提取,LDA :主题模型
主要实现在csv文件里对某一列进行提取,对其进行分词,去停用词,使用TF-IDF :提取关键词等操作,并把处理好的数据放入到csv文件中去。方便接下来的操作。# -*- coding:utf-8 -*-import jiebaimport numpy as npimport pandas as pdfileee="D:\PycharmProjects2020\qingganfenlei\...原创 2020-03-14 07:54:44 · 4499 阅读 · 1 评论 -
关键词提取的方法
提取 ,意思是从文本里面把意义最相关的词语抽取出来。在文献检索、自动文摘、文本聚类/分类等任务中有重要的应用主要有2种提取方法关键词分配在一个已有的关键词库中匹配几个词语作为这篇文档的关键词。关键词提取通过算法分析,提取文档中一些词语作为关键词。其中第二种,关键词提取的常用算法有以下几个基于 TF-IDF 算法进行关键词提取TF-IDF :用于反映一个词对于某篇文档的...原创 2020-03-14 07:49:33 · 2922 阅读 · 0 评论 -
情感分析词典资源
中文的 http://wenku.baidu.com/view/819b90d676eeaeaad1f3306e.html情感词典1.知网的情感词典http://www.keenage.com/html/c_bulletin_2007.htm由知网发布的词典,包括中文情感词典和英文情感词典(以下需要论坛积分)2.台湾大学的情感极性词典http://www.datatang.com/...原创 2020-02-20 02:19:21 · 2031 阅读 · 0 评论 -
tensorflow 神经网络做中文情感分析
本文使用哈工大做文本预处理; 两层隐层神经网络;# -*- coding: utf-8 -*-# @bref :使用tensorflow做中文情感分析import numpy as npimport tensorflow as tfimport randomfrom sklearn.feature_extraction.text import CountVectorizerimpor...原创 2020-02-20 01:16:08 · 752 阅读 · 1 评论