linux网页抓取-2

五、解析网页源代码，得到所需要信息

解析html并不复杂，只是有点麻烦而已。因为页面不可能全部读入内存在解析，只有分开读。分开读就必须要考虑需要查找的标签有可能只读到一部分这种情况。如读1024字节数据，我需要在里面找<div class="article_title">,碰巧的是，1024字节数据最后几位是<div class.在这种情况下，我不能简单的说1024字节里没有我所需要的，那就丢掉这1024字节。这样导致的后果解析出来的文章有遗漏。

需要解析的标签如下：

[cpp] view plain copy print ?

1. #define ARTICLE_TITLE ("<div class=\"article_title\">")  
2. #define ARTICLE_MANAGE ("<div class=\"article_manage\">")  
3. #define BLOG_TITLE ("<div class=\"blog_title\">")  
4. #define URL_LINK ("<a href=")  
5. #define LINK_TITLE ("<span class=\"link_title\"><a href=")  
6. #define LINK_TITLE_END ("</a></span>")  
7. #define LINK_VIEW ("<span class=\"link_view\"")  
8. #define LINK_COMMENTS ("<span class=\"link_comments\"")  
9. #define LINK_POSTDATE ("<span class=\"link_postdate\">")  
10. #define BLOG_RANK ("<ul id=\"blog_rank\">")  
11. #define BLOG_STATISTICES (" <ul id=\"blog_statistics\">")  
12. #define URL_END ("</a>")  
13. #define DIV_END ("</div>")  
14. #define SPAN ("<span>")  
15. #define SPAN_END ("</span>")  
16. #define UL_END  ("</ul>")  

我的解析流程图如下所示，有待优化。

1、从保存的首页中读1024字节到数组。
2、strcat到2048个字节的数组，多定义一个2048字节的数组，就是为了解决查找标签有可能只读到一部分的情况。
3、判断状态，自定义5个状态

 

[cpp] view plain copy print ?

1. #define TAG_RESOLV_ARTICLE 0  //解析文章标题、URL  
2. #define TAG_RESOLV_ARTICLE_STATIS 1//解析文章访问信息  
3. #define TAG_RESOLV_RANK 2//解析博主博客的访问信息  
4. #define TAG_RESOLV_STATIS 3//解析博主文章统计  
5. #define TAG_RESOLV_END 4//解析结束  

4、根据状态查找相应的标签位置。

   如果状态为TAG_RESOLV_RANK，则查找<ulid="blog_rank">和</ul>是否在数组中。只有两个标签同时在数组中，才解析标签所包含的有用信息。当<ulid="blog_rank">存在，而</ul>不存在时，则丢掉<ulid="blog_rank">之前的数据，在读1024字节数据后在解析。引用我自己写的一段代码来分析一下。

[cpp] view plain copy print ?

1. /* 
2. *功能：解析博客排名，访问量等。 
3. */  
4. int resolvBlogRank(char *buf, int len, struct BloggerInfo *blogger, int *tag) {  
5.     char *blog_rank_start, *blog_rank_end, *span_start, *span_end;  
6.     char tmpbuf[BUFFERLEN * 2];  
7.     int roll_back_loc,buf_len;  
8.     bzero(tmpbuf, sizeof (tmpbuf));  
9.     blog_rank_start = strstr(buf, BLOG_RANK);//找到BLOG_RANK第一次出现的位置（呵呵，只会出现一次）  
10.     if (blog_rank_start == 0) {//如果buf数组里面没有出现BLOG_RANK,则只保留buf数组最后200个字节。为什么是200？主要是因为BLOG_RANK所包括的字符长度目前不会超过200哈。  
11.         buf_len=strlen(buf);  
12.         roll_back_loc=buf_len-200>0?buf_len-200:0;  
13.         strcat(tmpbuf, buf + roll_back_loc);  
14.         bzero(buf, len);  
15.         strcat(buf, tmpbuf);  
16.     } else {//BLOG_RANK出现在buf里面  
17.         blog_rank_end = strstr(blog_rank_start + strlen(BLOG_RANK), UL_END);//找与<span style="white-space: pre-wrap; ">BLOG_RANK对应的结尾标签，这里是</ul></span>  
18.         if (blog_rank_end == 0) {//UL标签没有找到，则保留BLOG_RANK之后的数据  
19.             strcat(tmpbuf, blog_rank_start);  
20.             bzero(buf, len);  
21.             strcat(buf, tmpbuf);  
22.         } else {//UL标签找到  
23.             span_start = strstr(blog_rank_start + strlen(BLOG_RANK), SPAN);  
24.             span_end = strstr(span_start + strlen(SPAN), SPAN_END);  
25.             blogger->visits = myatoi(span_start + strlen(SPAN), span_end);//myatoi函数是我自己写的，用于将字符串转换为整数。如“第10000名”=》10000  
26.             span_start = strstr(span_end + strlen(SPAN_END), SPAN);  
27.             span_end = strstr(span_start + strlen(SPAN), SPAN_END);  
28.             blogger->integral = myatoi(span_start + strlen(SPAN), span_end);  
29.             span_start = strstr(span_end + strlen(SPAN_END), SPAN);  
30.             span_end = strstr(span_start + strlen(SPAN), SPAN_END);  
31.             blogger->ranking = myatoi(span_start + strlen(SPAN), span_end);  
32.             *tag = TAG_RESOLV_STATIS;  
33.             strcat(tmpbuf, blog_rank_end + strlen(UL_END));  
34.             bzero(buf, len);  
35.             strcat(buf, tmpbuf);  
36.         }  
37.     }  
38.     return 0;  
39. }  

5、循环，直到所解析的内容解析完毕

六、根据解析出来的文章URL，发送HTTP请求，保存返回的网页源代码

我是以文章名作为文件的名字，这里需要注意一个问题，当文件名出现/时，必须把文件名中的/替换为别的符号，我是替换为_符号。因为/在linux中属于路径的一部分。

至此，linux网页抓取工具就宣告完毕。

接下来的工作：

1.网页抓取是单线程的，接下来会采用多线程模式。

2.网页抓取没有抓取图片。js，css，所以在有网络的情况下才能呈现该有的样子。

3.代码很多地方需要优化，有的地方有点乱。

4.准备做个windows版本。不考虑做界面。

5.揉和window版本和linux版本，做个通用版。其实通用版还不是不同操作系统调用不同的函数而已。