python爬取csdn的博客内容

首先说明爬虫的大体结构可以通用，不过针对字符串的匹配是不能通用的，比如你用爬取csdn的代码想去爬取博客园就是不行的了，因为爬取的字符是根据对应的html内容设置的。

使用python构建爬虫程序有一个简单的套路，我总结为3步走：

1.re.compile设置查找的字符串样式

2.page = urllib.urlopen打开网页，page.read读取网页内容

3.re.search/re.findall查找到给定字符串样式的具体内容

下面我给出一个查找csdn博客中文章的URL的例子：

首先随便打开一个博客（比如我随即找了一个博客：http://blog.csdn.net/mynameishuangshuai），查看一下源码，慢慢去找一下关于带有href标签的段落，发现了下面这一段（或者你用windows的浏览器也可以直接用鼠标去点文章标题就可以看到了）