Python爬虫小实践：爬取任意CSDN博客所有文章的文字内容（或可改写为保存其他的元素），间接增加博客访问量

Python并不是我的主业，当初学Python主要是为了学爬虫，以为自己觉得能够从网上爬东西是一件非常神奇又是一件非常有用的事情，因为我们可以获取一些方面的数据或者其他的东西，反正各有用处。

这两天闲着没事，主要是让脑子放松一下就写着爬虫来玩，上一篇初略的使用BeautifulSoup去爬某个CSDN博客的基本统计信息（http://blog.csdn.net/hw140701/article/details/55048364），今天就想要不就直接根据某个CSDN博客的主页的地址爬取该博客的所有文章链接，进而提取每一篇文章中的元素，我这里是提取每一篇博客中的文字信息。

一、主要思路

通过分析CSDN博客的网站源码，我们发现当我们输入某博客主页网址时，如：http://blog.csdn.net/hw140701

在主页会有多篇文章，以及文章的链接，默认的是15篇。在主页博客的底部会有分页的链接，如下图

 

如图所示，一共65篇分5页，每一页中又包含了15篇文章的链接。

所以我们总体的思路是：

1.输入博客主页地址，先获取当前页所有文章的链接；

2.获取每个分页的链接地址

3.通过每个分页的链接地址获取每一个分页上所有文章的链接地址

4.根据每一篇文章的链接地址，获取每一篇文章的内容，直到该博客所有文章都爬取完毕

 

二、代码分析

2.1分页链接源码分析

用浏览器打开网页地址，使用开发者工具查看博客主页网站源码，发现分页链接地址隐藏在下列标签之中

 

所以我们通过下列代码所有分页链接进行匹配

[python] view plain copy

1. bsObj.findAll("a",href=re.compile("^/([A-Za-z0-9]+)(/article)(/list)(/[0-9]+)*$")):#正则表达式匹配分页的链接  

bsObj为BeautifulSoup对象

 

2.2分页上每一篇文章链接源码分析

得到每一个分页的链接后，对每一个分页上的文章链接源码进行分析，其源码如下

 

通过分析，所以我们采取以下的方法进行匹配

[python] view plain copy

1. bsObj.findAll("a",href=re.compile("^/([A-Za-z0-9]+)(/article)(/details)(/[0-9]+)*$"))  

或者

<