java词法分析_词法分析（字符串分析）

1 2 publicclassScriptScanner3 {4 privateString scriptInput=null;5 6 /**7 *@paramscriptInput8 */9 publicScriptScanner(String scriptInput)10 {11 this.scriptInput=scriptInput;12 }13 14 /**标记当前读取段的开始位置*/15 privateintstart_read_pos=0;16 17 /**当前位置*/18 privateintcurrent_pos=0;19 20 privatecharreadChar()21 {22 if(scriptInput==null||current_pos>=scriptInput.length())23 returnEOF;24 25 returnscriptInput.charAt(current_pos);26 }27 28 publicToken getNextToken()29 {30 Token currentToken=null;31 32 intstate=STATE_START;33 34 start_read_pos=current_pos;35 36 while(state!=STATE_DONE)37 {38 charch=readChar();39 40 switch(state)41 {42 caseSTATE_START:43 {44 if(Character.isLetter(ch))45 {46 state=STATE_IN_VAR;47 }48 elseif(ch=='=')49 {50 state=STATE_IN_EQUAL;51 }52 elseif(ch=='')123 {124 currentToken=newToken(TokenType.NOTEQUAL);125 }126 else127 {128 currentToken=newToken(TokenType.ERROR,"错误的运算符");129 }130 131 current_pos++;132 133 break;134 135 }//End: case STATE_IN_NOTEQUAL136 137 caseSTATE_IN_VAR:138 {139 if(!Character.isLetterOrDigit(ch))140 {141 state=STATE_DONE;142 143 String value=scriptInput.substring(start_read_pos, current_pos);144 145 currentToken=newToken(TokenType.ID, value);146 }147 else148 {149 current_pos++;150 }151 152 break;153 154 }//End: case STATE_IN_VAR155 156 default:157 {158 state=STATE_DONE;159 160 currentToken=newToken(TokenType.ERROR);161 }162 }//End: switch (state)163 }164 165 returncurrentToken;166 }167 168 publicfinalstaticcharEOF='\0';169 170 /*171 * 定义 DFA 的状态。172 */173 174 /**开始状态*/175 publicfinalstaticintSTATE_START=0;176 177 /**当前 Token 是变量*/178 publicfinalstaticintSTATE_IN_VAR=1;179 180 /**当前 Token 是 "=="*/181 publicfinalstaticintSTATE_IN_EQUAL=2;182 183 /**当前 Token 是 "<>"*/184 publicfinalstaticintSTATE_IN_NOTEQUAL=3;185 186 /**当前 Token 结束*/187 publicfinalstaticintSTATE_DONE=4;188 }189