GibbsLDA strtokenizer.cpp分析

GibbsLDA strtokenizer.cpp分析

头文件

仅有

\#include <string>
\#include <vector>
\#include "strtokenizer.h"

功能简单。

函数

构造函数，直接调用parse函数。

parse过程，soga！原来是这么分割的啊，我之前分割字符串都是傻傻的，先找到一个，然后把前面的都erase，然后再find_first_of，发现两个参数的find_first_of真的是看上去相当好用。

功能很简单，就是将字符串进行seperate，然后将seperate之后的单词push到token中。

count_tokens：对于tokens的大小进行计数。

start_scan：将idx＝0.

next_token：获取下一个token

token(int i)：返回特定的index的token。

---

我想，这个class主要的功能也就是parse字符串，然后返回tokens了吧。