C15-词法分析器，简单语法高亮实现

最新推荐文章于 2023-12-03 16:34:52 发布

有态度的时光

最新推荐文章于 2023-12-03 16:34:52 发布

阅读量434

点赞数 3

分类专栏： C语言文章标签： C语言词法器初步实现入门学习

本文链接：https://blog.csdn.net/Wuli_jiejie/article/details/90737354

版权

C语言专栏收录该内容

16 篇文章 0 订阅

订阅专栏

文章目录

main参数的含义
如何读取文件内容
简单三部曲
读取后打印
fwrite
fread
fseek
- fwind
ftell
在词法分析的同时，提取处token字符串
MVC分模块化下初步完整版的附录代码

main参数的含义

main函数的原型：

int main(int argc,char*argv[])
{
return 0;
}

main有参数传入，怎么主动调用main？
实际上mian的参数，不是在程序内部实现的，是与命令行息息相关的。
那么先看看 main函数里面参数：

argc：命令行传来的参数个数
argv：是一个指针数组，数组中每个元素都是指针，指向一个字符串

int main(int argc, char* argv[])
{
for (size_t i = 0; i < argc; i++)
{
printf("%d: %s\r\n", i, argv[i]);
}
return 0;
}

int main(int argc, char* argv[])
{
printf("%s， 你好\r\n", argv[1]);
return 0;
}

以上操作没有经过调试
那调试的时候怎么传参呢？
在VS中默认是没有参数调入的。
在VS中点击程序右键找到调试里面的命令参数就可以输入命令行参数了
在这里插入图片描述
为了完成完整版的词法分析器来简单说一说文件操作，在以后的笔记中会详细介绍文件操作

如何读取文件内容

简单三部曲

fopen
fputs : 放入字符串
fputc：放入单个字符
fclose 操作完毕必须执行
fopen 里面有 a w r

a ：add 追加模式不删除以前的在数据后面写入
w：写入清楚原来数据重新写入 慎用w 模式
r ：只读模式
a+，w+，r+ 可读可写
ab wb rb 以二进制存或者读取
ab+ wb+ rb+ 可读可写的二进制进行
打开失败会返回一个NULL值所以可以进行检测

 FILE *fp;
 fp = fopen("1.txt", "a+");
 if (fp == nullptr)
 {
  printf("open fail/r/n");
  exit(0);
 }

 fputc('a', fp);
 fputc('b', fp);
 fputc('c', fp);
 fclose(fp);

读取后打印

如果结束的时候会返回 EOF 所以可以作为循环

FILE *read;
 read = fopen("1.txt", "r");
 char ch = fgetc(read);
 while (ch != EOF)
 {
  putchar(ch);
  ch = fgetc(read);//自动加一
 }
 fclose(read);

fwrite

size_t fwrite ( const void * ptr, size_t size, size_t count, FILE * stream );
其中，
ptr：指向保存数据的指针；
size：每次写入数据类型的大小；
count：写入的次数；
stream：文件指针

fread

size_t fread ( void   *buffer,  size_t size,  size_t count,  FILE *stream) ;

buffer 是读取的数据存放的内存的指针（可以是数组，也可以是新开辟的空间，buffer就是一个索引）
size 是每次读取的字节数
count 是读取次数
stream 是要读取的文件的指针
如果下面代码中rb改成wb 会读不出来注意

int _tmain(int argc, _TCHAR* argv[])
{
 FILE *fp;
 fp = fopen("1.txt", "rb");
 if (fp == NULL)
 {
  printf("open fail!");
 }
 fputs("nihaolmj",fp);
 fputs("zyyniyaohaohaode", fp);

 fseek(fp, 0, SEEK_END);
 int Size = ftell(fp);
 fseek(fp, 0, SEEK_SET);

 char arry[100] = { 0 };
 fread(arry, Size, 1, fp);

 printf("%s\r\n", arry);
 fclose(fp);
}

fseek

fwind

void rewind(FILE * stream); 相当于fseek（fp,0，SEEK_SET);
重新将文件指针指向头

 fseek(FILE *stream, long offset, int fromwhere)

位置指针指向文件内部的字节位置，随着文件的读取会移动，文件指针如果不重新赋值将不会改变指向别的文件。
就是移动了话就不会重新自动移动回来下次读取的时候会重所在位置读取
stream
读取的文件
long offset
偏移起始位置：文件头0(SEEK_SET)，当前位置1(SEEK_CUR)，文件尾2(SEEK_END)
从哪里开始偏移的offset多少就是如果set offset为2 那就从头数向后动 2个位置
如果为END 那么以最后为初始位置向前移动2个
不会自动移动回去

ftell

返回当前文件位置，也就是说返回FILE指针当前位置。
函数 ftell() 用于得到文件位置指针当前位置相对于文件首的偏移字节数。在随机方式存取文件时，
由于文件位置频繁的前后移动，程序不容易确定文件的当前位置。
使用fseek函数后再调用函数ftell()就能非常容易地确定文件的当前位置。
这就很容易理解一下操作

//获取文件大小:移动到末尾、获取偏移、移动回来
 fseek(pFile, 0, SEEK_END); //从后面开始 偏移为0
 long lFileLen = ftell(pFile);// 读取后面位置 得到长度
 fseek(pFile, 0, SEEK_SET); //调回 开头  偏移为0

使用C语言读取文件的内容，要使用C标准函数

fopen：打开文件
fread：读取文件
fclose：关闭文件
fseek：移动到文件末尾
ftell：与fseek配套使用获取文件的偏移
./xx 是当前目录
…/xx 是上一级目录

int main(int argc, char* argv[])
{
if (argc != 2)
{
printf("usage:\r\n\t%s <filename>", argv[0]);
return 0;
}
//打开文件
FILE* pFile = fopen(argv[1], "rb");
//获取文件的大小
//1. fseek移动文件偏移到末尾
fseek(pFile, 0, SEEK_END);
//2. 获取文件的偏移（此环境下，就是文件大小）
int nLength = ftell(pFile);
//3. 移动回到文件的开始处
fseek(pFile, 0, SEEK_SET);
//读取文件的内容
fread(g_Buff, 1, nLength, pFile);
//关闭文件
fclose(pFile);
//把内容输出
printf("%s", g_Buff);
return 0;
}

在词法分析的同时，提取处token字符串

使用一个全局变量，存放找到token

char g_chToken[50]={0};

void GetToken(char* pszContent1, char* pszContent2)
{
 size_t i = 0;
 for (i = 0; i < pszContent2 - pszContent1; i++)
 {
  g_chToken[i] = pszContent1[i];
 }
 pszContent1 = pszContent2;
 g_chToken[i] = '\0';
}

MVC分模块化下初步完整版的附录代码

彩色库以前就实现了，可以参考以前笔记
CompleteLexer.cpp

#include "stdafx.h"
#include"Model.h"
#include"view.h"

int main(int argc, char* argv[])
{
 IsTwoArg(argc, argv);
 GetArgv(argv);
 Lexer(g_chBuff);
 return 0;
}

View.h

#pragma once
void GetToken(char* pszContent1, char* pszContent2);
void IdColor();
void NumColor();
void DelColor();
void KeyColor();
void ShowToken();

View.cpp

#include"view.h"
#include"Model.h"
#include"stdio.h"
#include"setdisplay.h"

void GetToken(char* pszContent1, char* pszContent2)
{
 size_t i = 0;
 for (i = 0; i < pszContent2 - pszContent1; i++)
 {
  g_chToken[i] = pszContent1[i];
 }
 pszContent1 = pszContent2;
 g_chToken[i] = '\0';

}
void IdColor()
{
 SetColor(SetConsoleColor(COLOR_GREEN, COLOR_BLACK));
}
void NumColor()
{
 SetColor(SetConsoleColor(COLOR_YELLOW, COLOR_BLACK));
}
void DelColor()
{
 SetColor(SetConsoleColor(COLOR_WHITE, COLOR_BLACK));
}
void KeyColor()
{
 SetColor(SetConsoleColor(COLOR_RED, COLOR_BLACK));

}
void ShowToken(){
 printf("%s", g_chToken);
}

Model.h

#pragma once

void GetArgv(char* argv[]);
void Lexer(char *pszContent);
extern char g_chBuff[100000];
extern char g_chToken[50];
void IsTwoArg(int argc,char* argv[]);

Model.cpp

#include"Model.h"
#include"stdio.h"
#include"stdlib.h"
#include"view.h"
#include"string.h"

#define STATE_START 0
#define STATE_ID 1
#define STATE_NUM 2
#define STATE_DELM 3
#define STATE_EOF 4

char g_chBuff[100000] = { 0 };
char g_chToken[50] = { 0 };

void IsTwoArg(int argc,char* argv[])
{
 if (argc != 2)
 {
  printf("usage:\r\n\t %s<filename>", argv[0]);
  exit(0);
  return ;
 }
}

void GetArgv(char* argv[])
{
 FILE* pFile = fopen(argv[1], "rb");
 fseek(pFile, 0, SEEK_END);
 int nLen = ftell(pFile);
 fseek(pFile, 0, SEEK_SET);
 fread(g_chBuff, 1, nLen, pFile);
 fclose(pFile);
}



int IsDeline(char pszContent)
{
 if ( pszContent == '_')
 {
  return 1;
 }
 else
 {
  return 0;
 }
}
int IsNum(char pszContent)
{

 if (( pszContent >= '0'&& pszContent <= '9'))
 {
  return 1;
 }
 else
 {
  return 0;
 }
}
int IsID(char pszContent)
{
 if (( pszContent >= 'a'&& pszContent <= 'z') 
  ||( pszContent >= 'A'&& pszContent <= 'Z'))
 {
  return 1;
 }
 else
 {
  return 0;
 }
}
int IsDelimter(char pszContent)
{
 if (pszContent == ' '
  || pszContent == '\r'
  || pszContent == '\t'
  || pszContent == '\n'
  || pszContent == ';'
  ||pszContent=='('
  ||pszContent==')'
  ||pszContent=='='
  ||pszContent=='"'
  ||pszContent=='<'
  ||pszContent=='>')
 {
  return 1;
 }
 else
 {
  return 0;
 }
}

void Lexer(char *pszContent)
{

 char* pStartContent = NULL;//开始指针
 int nState = STATE_START;
 while (*pszContent != '\0')
 {
  int pszNextContent = *pszContent;
  if (nState == STATE_START)
  {
   if (IsID(pszNextContent) || IsDeline(pszNextContent))
   {
    pStartContent = pszContent;//记录开始标识
    nState = STATE_ID;
   }
   else if (IsNum(pszNextContent))
   {
    pStartContent = pszContent;
    nState = STATE_NUM;
   }
   else if (IsDelimter(pszNextContent))
   {
    nState = STATE_DELM;
   }
   else
   {
    DelColor();
    printf("%c", *pszContent);
   }
  }
  else if (nState == STATE_ID)
  {
   if (IsNum(pszNextContent) 
    || IsDeline(pszNextContent)
    ||IsID(pszNextContent))
   {
    nState = STATE_ID;
   }

   else if (IsDelimter(pszNextContent))
    {
     /*printf("找到一个变量");*/
    GetToken(pStartContent, pszContent);
     if (strcmp("int", g_chToken) == 0
      || strcmp("char*", g_chToken) == 0
      || strcmp("char", g_chToken) == 0
      || strcmp("while", g_chToken) == 0
      || strcmp("if", g_chToken) == 0
      || strcmp("do", g_chToken) == 0
      || strcmp("double", g_chToken) == 0
      || strcmp("else", g_chToken) == 0
      || strcmp("void",g_chToken)==0
      )
     {
      KeyColor();
     }
     else
     {
      IdColor();
     }
     ShowToken();

     DelColor();
     printf("%c", *pszContent);//输出分隔符 因为已经指向分隔符了
     
     nState = STATE_DELM;
    }
  }
  else if (nState == STATE_NUM)
  {

   if (IsDelimter(pszNextContent))
   {
    /*printf("找到一个数字");*/
    GetToken(pStartContent, pszContent);
    NumColor();
    ShowToken();

    DelColor();
    printf("%c", *pszContent);//输出分隔符 因为已经指向分隔符了
    nState = STATE_DELM;


   }
   else if (IsNum(pszNextContent))
   {
    nState = STATE_NUM;
   }
   

  }
  else if (nState == STATE_DELM)
  {
   if (IsID(pszNextContent))
   {
    pStartContent = pszContent;
    nState = STATE_ID;
   }
   else if (IsNum(pszNextContent) || IsDeline(pszNextContent))
   {
    pStartContent = pszContent;
    nState = STATE_NUM;
   }
   else
   {
    DelColor();
    printf("%c", *pszContent);

   }
  }
  else
  {
   DelColor();
   printf("%c", *pszContent);
  }
  pszContent++;
 }
}

有态度的时光

关注

3
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
C15-词法分析器，简单语法高亮实现

文章目录main参数的含义如何读取文件内容简单三部曲读取后打印fwritefreadfseekfwindftell在词法分析的同时，提取处token字符串MVC分模块化下初步完整版的附录代码main参数的含义main函数的原型：int main(int argc,char*argv[]){return 0;}main有参数传入，怎么主动调用main？实际上mian的参数，不是在程...
复制链接

扫一扫