获取博主的所有文章链接

三亚天涯龙之主信息科技工作室

已于 2023-03-31 09:38:57 修改

阅读量1.9k

点赞数

分类专栏： python基础+进阶教程文章标签： python 网络爬虫

于 2023-03-29 22:35:29 首次发布

本文链接：https://blog.csdn.net/godnightshao/article/details/129847101

版权

python基础+进阶教程专栏收录该内容

16 篇文章 2 订阅

订阅专栏

该代码示例展示了如何使用Python的requests和lxml库从CSDN博客中抓取特定博主的文章链接。通过发送GET请求到博客列表页面，然后使用XPath解析HTML，可以获取并保存所有文章的链接。

摘要由CSDN通过智能技术生成

import requests
from lxml import etree


blog_id = 'godnightshao' #博主的id
url = f'https://blog.csdn.net/{blog_id}/article/list/'
header = {
    "user-agent": "Mozilla/5.0",
}
response = requests.get(url, headers=header)
html = etree.HTML(response.text)
article_list = html.xpath('//*[@id="articleMeList-blog"]/div[2]')[0]
link = article_list.xpath('./div/h4/a/@href')
with open('b.txt', 'w+') as f:
    for i in link:
        print(i)
        f.write(i+'\n')