舆情分析 - 入门

入门简介

要做舆情分析首选需要有数据，然后做自然语言处理。

数据我们还是以python爬取为主，先从自然语言处理开始

自然语言入门

先了解下自然语言的基础知识

FlySky1991的专栏 自然语言入门

中文分词原理及分词工具介绍

中文分词概述

中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。

中文分词方法介绍

现有的分词方法可分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。

常用工具

自然语言处理入门（4）——中文分词原理及分词工具介绍

其中提到的几个常用工具：

1. jieba (github star数 9003)

   jieba分词是国内使用人数最多的中文分词工具（github链接)。jieba分词支持三种模式：

   （1）精确模式：试图将句子最精确地切开，适合文本分析；

   （2）全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

   （3）搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

   jieba分词过程中主要涉及如下几种算法：

   （1）基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情