python爬取博主所有文章并保存到本地

闲话：

一位前辈告诉我大学期间要好好维护自己的博客，在博客园发布很好，但是自己最好也保留一个备份。

正好最近在学习python，刚刚从py2转到py3，还有点不是很习惯，正想着多练习，于是萌生了这个想法——用爬虫保存自己的所有文章

在查了一些资料后，慢慢的有了思路。

正文：

有了上面的思路后，编程就不是问题了，就像师傅说的，任何语言，语法只是很小的一部分，主要还是编程思想。于是边看语法，边写程序，照葫芦画瓢，也算实现了既定的功能：

1、现在py文件同目录下创建一个以博主名字为名的文件夹，用来存放爬取的所有文章。

2、暂时先保存成TXT文件，这个比较容易。但是缺点是无法保存图片。后面在学习直接转成PDF。

3、爬取完成后提醒我你爬取了多少片文章。

要懒就懒到位，最好不要让我动一下手就自动爬取所有文章，但是。。。。还是要看一下自己的文章目录的url吧、看一下自己有多少页目录吧，然后这两个参数填进去之后，就完美了。

提示：使用chrome浏览器，在chrome下：先按F12进入开发者模式，在网页上右键选中一块区域，然后选择【检查】，在右侧即可查看对应的HTML程序。

主要函数的实现：

1、获取所有文章的url：

def get_urls(url,pages):
    """
    获取所有目录下的所有文章url
    :param url: 某一页目录的url，去掉最后的数字
    :param pages: 一共需要爬取的页数
    :return: 返回所有文章url的列表
    """
    total_urls = []

    for i in range(1,pages+1):      #根据一个目录的url找到所有目录

        url_temp = url + str(i)

        html = get_html(url_temp)   #获取网页源码

        title_pattern = re.compile(r'<a.*?class="postTitle2".*?href="(.*?)">',re.S)    #文章url正则表达式

        url_temp2 = re.findall(title_pattern,html)     #找到一个目录中所有文章的网址