C++抽象编程——面向对象（10）——token扫描器的实现

tokenscanner.h接口

界面中的许多方法用于启用更改扫描仪默认行为的选项。例如，我们可以通过初始化像这样的token扫描器忽略输入流中的所有空格：

TokenScanner scanner;
scanner.ignoreWhitespace();

接下来我们的目的是实现下面的一些功能：

方法	作用
构造函数
TokenScanner() TokenScanner(str) TokenScanner(infile)	初始化扫描仪对象。 token的源码从指定的字符串或输入文件初始化。如果没有提供token源，则必须在从扫描仪读取令牌之前调用setInput
读取token的方法
hasMoreTokens()	返回true，如果还有其他更多的token未被读取
nextToken()	从扫描仪返回下一个token。 如果在没有token可用的情况下调用nextToken，则返回空字符串。
saveToken(token)	将指定的token保存为扫描仪内部状态的一部分，以便在下次调用nextToken时返回。
控制扫描器的方法
ignoreWhitespace()	告诉扫描仪扫描的时候忽略空格字符

实现简单的token扫描器

TokenScanner.h

#ifndef _TokenScanner_h
#define _TokenScanner_h

#include <string>

/*
*这个类用来处理一些分割字符串
*/
class TokenScanner{
    public:
        /*
        *构造函数： TokenScanner scanner
        *用法：TokenScanner scanner()
               TokenScanner scanner(str)
        *---------------------------
        *用途：创建一个TokenScanner对象，当其为默认构造函数的时候
        *token为空字符串，否则，这token来自于用户定义的字符串
        */ 
        TokenScanner();
        TokenScanner(std::string str); 
        /*
        *方法：setInput（）
        *用法：scanner.setInput(str)
        *--------------------------
        *用途：为扫描器提供指定的string输入
        */
        void setInput(std::string str); 
        /*
        *方法：hasMoreTokens
        *用法：if(scanner.hasMoreTokens)
        *------------------------------
        *用途：判断是否还有后续的tokens
        */
        bool hasMoreTokens();
        /*
        *方法：nextToken
        *用法：token = scanner.nextToken()
        *--------------------------------
        *用途：返回下一个token的值。如果没有后续的token，那么返回空字符串
        */
        std::string nextToken();
        /*
        *方法：ignoreWhitespace
        *用法:scanner.ignoreWhitespace()
        *-----------------------------
        *用途：告诉扫描仪忽略空格字符。 默认情况下，nextToken方法像任何其
        *它标点符号一样处理空格字符（通常为空格和制tab），并将其作为单字符
        *token返回。调用：
        * scanner.ignoreWhitespace();
        *以便我们可以这样操作
        */
        void ignoreWhitespace();

        #include "tokenscannerpriv.h"
}; 

#endif

TokenScannerpriv.h

/*
*这个文件为TokenScanner类的私有部分
*/
private:
    /*实例化变量*/
    std::string buffer; //包含token的输入字符串，buffer的意思为缓存
    int cp; //token在缓存中的正确位置，cp：current position 
    bool ignoreWhitespaceFlag;//设立一个忽略空格的标志，注意这是一个变量
    /*私有方法*/
    void skipWhitespace(); //跳过空格 

TokenScanner.cpp

/*
*这个文件用于实现我们前面写的TokenScanner的功能
*/
#include <cctype>
#include <string>
#include "TokenScanner.h"
using namespace std;
/*构造函数的实现*/
TokenScanner::TokenScanner(){
    /*空函数*/ 
} 
TokenScanner::TokenScanner(string str){
    setInput(str);
}

/*setInput函数的实现*/
void TokenScanner::setInput(string str){
    buffer = str;
    cp = 0;
} 
/*
*hasMoreTokens函数的实现
*当cp在buffer的里面的时候，意味着分割尚未完成，所以返回true
*当遇到空格时候，就跳过空格
*/ 
bool TokenScanner::hasMoreTokens() {
    if (ignoreWhitespaceFlag) skipWhitespace();
    return cp < buffer.length();
}
/*
*nextToken函数的实现
*该方法通过查看由cp指示的当前字符处的字符开始。 
*如果该位置超过了字符串的结尾，则nextToken将返回空字符串。 
*如果该字符是字母数字，则nextToken会继续向前扫描，直到找到该字的结尾; 
*如果没有，则nextToken将该字符作为单字符字符串返回 
*/
string TokenScanner::nextToken() {
    if (ignoreWhitespaceFlag) skipWhitespace();
    if (cp >= buffer.length()) {
        return "";
        } else if (isalnum(buffer[cp])) {//判断是否为字母数字 
            int start = cp; //将此时开始的cp的位置赋给start
            /*当cp处于buffer内，且cp中所指的都是字母数字的时候*/ 
            while (cp < buffer.length() && isalnum(buffer[cp])) {
                cp++;
            }
        return buffer.substr(start, cp - start);//返回截取的这一段字符 
        } else {
            return string(1, buffer[cp++]);
    }
} 


/*ignoreWhitespace()函数的实现 */
void TokenScanner::ignoreWhitespace() {
    ignoreWhitespaceFlag = true;
} 

/*
*此方法是一种私有方法，因此不会导出。 
*但是，它需要在类的私有部分中声明，该部分
*包含在tokenscannerpriv.h文件中。 
*这个方法从hasMoreTokens和nextToken都调用
*/
void TokenScanner::skipWhitespace() {
    while (cp < buffer.length() && isspace(buffer[cp])) {
    cp++;
    }
}

测试文件

#include <iostream>
#include <string>
#include "TokenScanner.h"
using namespace std;
int main(){
    string line;
    getline(cin,line);
    TokenScanner scanner(line);
    for(int i = 0;i <= line.length();i++){
        string str =  scanner.nextToken();
        cout << str << endl;
    }
    return 0;
} 

测试结果

自此，面向对象暂时告一段落，以后会提到虚函数之类的