2019.5.5Py文本数据分析

计算两个句子的相似度：
句子–分词–语料库–词频–词频向量 利用向量计算相似度 余弦相似度


接下来文本分类：时尚；军事；新闻；生活；文化类等等。
数据源来自搜狗实验室

名字命名了四个如下：

head就是看一下指定的前20个或者前几个。
wordcloud库：文本可视化如下图

好玩的网址：githup/amueller/word_cloud

LDA：主题模型 无监督的不知道语料是什么主题类似k-means，制定好划分为多少堆，再进行建模操作。
LDA用gensim库来实现的。

贝叶斯算法分类任务
做一个10分类的任务，但是sklearn是不认识label的，只认识0，1，…9
tips:用库的时候报错了，先看是否更新了版本，写一个简单的输入，用最简单的形式去测试一下是否有问题。没有问题按照这个写数据就可以了。

练习：
首先时是安装jieba库：打开anoconda prompt，输入pip install jieba. And
Waiting…
jieba和sklearn都可以进行关键词提取。

同时在例子中学到了URL这个名词
Uniform Resource Locator
url是统一资源定位符，对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。