爬虫练习：CSDN博客归档

要求：将CSDN博客分类保存

效果展示：

代码实现：

# encoding=utf-8
"""
Date:2019-08-08 10:32
User:LiYu
Email:liyu_5498@163.com

"""
import os
import requests


def get_content(url):
    """获取指定网页的页面信息"""
    headers = {
        'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) '}
    try:
        # 如果响应的状态码为404并不会抛出一场， 那么如何让处理?
        response = requests.get(url, headers=headers)
        response.raise_for_status()  # 如果返回的状态码不是200， 那么抛出异常
        response.encoding = response.apparent_encoding  # 自动判断网也的编码格式， 便于response.text知道如何实现解码
    except Exception as e:
        print('[-] 爬取失败:', e)
    else:
        # print('[+]' + response.url, "爬取成功....")
        # print(len(response.text))
        return response.text


def parser_content(html):
    """解析页面内容: 获取博客名称和博客链接"""
    # 1. 实例化soup对象
    from bs4 import BeautifulSoup
    soup = BeautifulSoup(html, 'lxml')
    # print(soup)
    # print(soup.prettify())

    # 2. 分析页面， 获取内容;
    # print(soup.title.text)
    # 获取博客分类, 用列表保存
    classify_lists = soup.body.find('ul', class_='colu_cate_list').find_all('li')
    for cl in classify_lists:
        classify_name = cl.a.text  # 获取分类名，用于后续创建文件
        classify_url = cl.a.get('href')  # 获取分类的连接
        article_content = get_content(classify_url)  # 获取当前分类的页面信息
        article_soup = BeautifulSoup(article_content, 'lxml')
        # 获取文章信息，列表保存
        article_lists = article_soup.body.find('ul', class_='colu_author_c').find_all('li')
        # print(article_lists)
        # print(soup.body.prettify())
        # print(soup.body.div)
        if not os.path.exists('blog_classify'):  # 创建保存分类md文件的目录
            os.makedirs('blog_classify')
        f = open('./blog_classify/%s.md' % classify_name, 'w')  # 以当前分类命名
        for article in article_lists:  # 储存当前分类的所有文章标题连接
            # 获取标题
            blogName = article.h4.a.text
            # 获取链接
            blogUrl = article.h4.a.get('href')
            f.write('- [%s](%s)\n' % (blogName, blogUrl))
        f.close()


if __name__ == '__main__':
    url = 'https://blog.csdn.net/Dreaming5498/article/list/'
    content = get_content(url)
    parser_content(content)