使用Python简单爬取博客园某个博主的所有文章

只是简单抓了下文章日期和标题，修改下也可以抓链接，然后从链接再去抓内容

效果如下：

代码如下：

'''
爬取博客园某个作者所有文章
'''
from bs4 import BeautifulSoup
import requests

def get_bs(author, page=1):
    '''
    传入作者博客园的id，页数（不传页数则从第一页开始查找）
    如果存在下一页按钮，则递归调用自己获取下一页的数据
    '''
    r=requests.get(f'https://www.cnblogs.com/{author}/default.html?page={page}')
    soup = BeautifulSoup(r.content,'html5lib')
    print(f'第{page}页：')
    data_print(soup)
    if soup.select(f'a[href="https://www.cnblogs.com/{author}/default.html?page={page+1}"]'):  # 如果有下一页的链接
        get_bs(author, page+1)

def data_print(soup):  # 这里可以优化显示文章链接啥的
    '''
    通过css选择器打印所有日期和文章标题
    '''
    for day in soup.select('div.day'):
        for riqi in day.select('div.dayTitle a'):
            for wenzhang in day.select('a.postTitle2'):
                print(riqi.text, ' ==> ', wenzhang.text)

if __name__ == "__main__":
    get_bs('yoyoketang')

作者id从浏览器地址获取：