![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
weixin_41741008
这个作者很懒,什么都没留下…
展开
-
任务一、THUCNews数据集的准备
一、THUCNews数据集的准备下载链接:https://pan.baidu.com/s/1hugrfRu 密码:qfud二、数据集的预处理1.获得词汇表:from collections import Counterdef getVocabularyText(content_list,size): size = size - 1 allContent = ''...翻译 2019-06-21 23:58:57 · 886 阅读 · 0 评论 -
任务一、THUCNews数据集的准备
一、THUCNews数据集的准备下载链接:https://pan.baidu.com/s/1hugrfRu 密码:qfud二、数据集的预处理1.获得词汇表:from collections import Counterdef getVocabularyText(content_list,size): size = size - 1 allContent = ''...翻译 2019-06-22 00:02:16 · 305 阅读 · 0 评论 -
任务二
一、任务描述1. 基本文本处理技能 1.1 分词的概念(分词的正向最大、逆向最大、双向最大匹配法); 1.2 词、字符频率统计;(可以使用Python中的collections.Counter模块,也可以自己寻找其他好用的库)2. 2.1 语言模型中unigram、bigram、trigram的概念; 2.2 unigram、bigram频率统计;(可以使用Python中的...翻译 2019-06-24 19:46:59 · 95 阅读 · 0 评论 -
任务四 (1)
朴素贝叶斯朴素贝叶斯算法是基于 贝叶斯原理 与 特征条件 独立假设的分类算法,对于给定的训练数据集,首先基于 特征条件 独立假设学习输入/输出的 联合概率分布 ,然后基于此模型,对给定的输入x,利用 贝叶斯定理 求出 后验概率最大 的输出y,朴素贝叶斯法实现简单,学习与预测的效率都很高,是一种常见的方法。朴素贝叶斯(naive Bayes)算法是有监督的学习算法,解决的是分类问题,如客户是否...翻译 2019-06-30 18:24:09 · 76 阅读 · 0 评论 -
跑TextCNN的一些小分享
卷积神经网络文本分类原理讲解本文实现TextCNN 的网络结构:一、对输入的句子补齐成一样的长度二、把词映射成稠密的词向量(Emedding)三、分别用不同大小的划窗(卷积核)做信息的抽取四、抽取后的信息池化后进行拼接五、最后经过全连接层和softmax做分类处理。全连接层的作用是:将上层抽取出来的特征向量在里面做一个权重计算softmax的作用是:softmax将原来的输...翻译 2019-07-20 10:35:16 · 3198 阅读 · 1 评论