TSE中提取HTML中链接的方法

TSE中提取html中链接 uri 采用的是Lex分析 TSE中和lex相关的是hlink.l和uri.l   其中 uri.l是用来处理一个提取出的uri ，hlink.l是用来提取html中链接的。 代码流程：   在Crawl类的DownloadFile()方法中，当取得一个网页（HTML)的内容，并存到一个CPage类里。 开始对CPage类进行分析处理。先是处理这个网页的uri uri_parse_string(iPage.m_sUrl.c_str(), &page_uri);      结果存到page_uri里去。 之后调用hlink_detect_string(iPage.m_sContent.c_str(), &page_uri, onfind, &p); 这个hlink_detect_string函数是关键函数，这个函数的意思就是，把网页内容作为参数（iPage.m_sContent.c_str())传进去，当找到有链接信息后就调用onfind函数，onfind函数的参数是&p. hlink_detect_string函数是在hlink.l中定义的。   int hlink_detect_string(const char *string, const struct uri *pg_uri,onfind_t onfind, void *arg) 参数string就是传入的网页内容，pg_uri是这篇网页的地址，onfind是找到链接后要执行的函数，arg是参数，会一直带着走的。   if (buf = yy_scan_string(string)) {    yy_switch_to_buffer(buf);              __base_uri = (struct uri *)pg_uri;    __is_our_base = 0;    __onfind = onfind;    __arg = arg;    BEGIN INITIAL;    n = yylex(); }   buf = yy_scan_string(string)和 yy_switch_to_buffer告诉程序，需要分析的字符串是参数string 并把传入的参数存为全局变量。 之后进入INITIAL状态，yylex()函数启动分析流程。     在INITIAL状态下 遇到以下表达式的话 "<"{cdata}/{blank}|">"   就是说，遇到类似 "<A>"或者" <A "的话，就把"A" 那一行对应的数组 赋给__cur_elem全局结构。比如，搜索到"<A "就把{"A", __elem_a_attr}赋给__cur_elem.相关代码为： /* Element names are case-insensitive. */ for (yyleng = 0; __elems[yyleng].name; yyleng++) {    if (strcasecmp(yytext + 1, __elems[yyleng].name) == 0)    {     __cur_elem = __elems + yyleng;     break;    } } 其中数组的定义为 static struct __elem __elems[] = { {"A", __elem_a_attr}, {"AREA", __elem_area_attr}, {"BASE", __elem_base_attr}, {"FRAME", __elem_frame_attr}, {"IFRAME", __elem_iframe_attr}, {"IMG", __elem_img_attr}, {"LINK", __elem_link_attr}, {"META", __elem_meta_attr}, {NULL, } }; static const struct   __elem    *__cur_elem;   之后进入ATTRIBUTE状态 yy_push_state(ATTRIBUTE);   在ATTRIBUTE状态下   想要找出ATTRIBUTE的值 比如 A href=   首先取得href (没有"=") 此时匹配的字符串yytext为"href" 就是把空格和等号去掉后的字符串 相关代码为   匹配的正则表达式：{cdata}{blank}{0,512}"="{blank}{0,512} 去掉空格和等号： yyleng = 0; while (!HLINK_ISBLANK(yytext[yyleng]) && yytext[yyleng] != '=')    yyleng++; yytext[yyleng] = '/0';   然后把属性值 就是"href"串 存到 char *__cur_attr中，并用__curpos来标记存放uri的数组_buffer的位置 for (yyleng = 0; __cur_elem->attrs[yyleng]; yyleng++) {    if (strcasecmp(yytext, __cur_elem->attrs[yyleng]) == 0)    {     __curpos = __buffer;     __cur_attr = __cur_elem->attrs[yyleng];     break;    } } 进入URI状态，准备提取URI BEGIN URI;   在URI状态下，如果遇到双引号，就进入双引号状态，反之单引号也一样 <URI>/"{blank}{0,512} BEGIN DOUBLE_QUOTED; <URI>"'"{blank}{0,512} BEGIN SINGLE_QUOTED; 就是说 现在已经读了<A href=" 准备读取实际的uri了 也就是一般会进入这个动作： <UNQUOTED,DOUBLE_QUOTED,SINGLE_QUOTED,ENTITY>.|/n .|/n 就是除了读取到 引号之前的字符 （因为引号代表href="xxx" xxx读取完毕） 当然也不包括"&lt;"这些很特殊的HTML代码。   读到字符时,最关键的语句是 *__curpos++ = *yytext; 就是把字符读到_curpos指向的内存数组中去，并把_curpos指针加1，就这样一直读，直到把uri读取完毕，也就是读取到引号之类的   <DOUBLE_QUOTED>{blank}{0,512}/"   | <SINGLE_QUOTED>{blank}{0,512}"'" | <UNQUOTED>{blank}|">"     {     读取完毕后的操作是，首先在读取到的字符串后2位，全部加上结束字符"/0", *(__curpos + 1) = *__curpos = '/0';   用一个指针指向uri数组的起始位置 ptr = __buffer; 之后把string类型的字符数组，存到uri结构体去 yyleng = uri_parse_buffer(ptr, __curpos - ptr + 2, &uri); 然后把找到的uri和该uri所在的uri     merge成一个最终uri result uri_merge(&uri, __base_uri, result);   最终调用onfind函数 __onfind(__cur_elem->name, __cur_attr,result, __arg)     关于_onfind函数的调用 是一旦找到一个合法的uri 就会调用 所以在扫描一篇HTML时会多次调用onfind函数   onfind函数的功能 在获得的uri 如果是img类型 就存到m_ofsLink4HistoryFile文件里去 如果是其他类型 就交给AddUrl函数处理     这个是TSE中Lex 分析HTML过程的大致流程 以后再写TSE的主代码如何爬取网页的流程