xiaotianlan的专栏

最近手头上有一个项目，是关于新浪微博的，其中有一环要做新浪微博的爬虫。虽然之前把《Python学习手册》和《Python核心编程》都囫囵吞栆地通读完了，不过真正到做项目的时候还是什么都不会。于是在网上找了大量的资料。关于获取新浪微博的内容，大致有两种方法，一种是用纯爬虫，还有一种是用新浪提供的API。使用API的话，需要先申请一个新浪的开发帐号，这个过程有一点复杂，最终目的是获得新浪的app_

最近为了练手而且对网页爬虫也挺感兴趣，决定自己写一个网页爬虫程序。首先看看爬虫都应该有哪些功能。内容来自（http://www.ibm.com/developerworks/cn/java/j-lo-dyse1/index.html?ca=drs-）网页收集的过程如同图的遍历，其中网页就作为图中的节点，而网页中的超链接则作为图中的边，通过某网页的超链接 得到其他网页的地址，从而

匹配双字节字符(包括汉字在内)：[^x00-xff]　　评注：可以用来计算字符串的长度（一个双字节字符长度计2，ASCII字符计1）　　匹配空白行的正则表达式：ns*r　　评注：可以用来删除空白行　　匹配HTML标记的正则表达式：]*>.*?|　　评注：网上流传的版本太糟糕，上面这个也仅仅能匹配部分，对于复杂的嵌套标记依旧无能为力　　匹配首尾空白字符的正则表达式：^s