python提取CSDN博客文章url和标题

三颗草丶

已于 2022-08-12 14:11:38 修改

阅读量386

点赞数 7

分类专栏： python 文章标签： python crawler

于 2022-04-12 16:56:28 首次发布

本文链接：https://blog.csdn.net/icanflyingg/article/details/124127862

版权

python 专栏收录该内容

14 篇文章 2 订阅

订阅专栏

这是一个Python爬虫程序，用于抓取CSDN个人博客的指定页面（1-10页）文章的标题和链接。通过设置User-Agent避免被识别为爬虫，并使用正则表达式匹配HTML内容，提取文章标题和URL。程序首先定义请求头，然后遍历页码，发起HTTP请求，解码响应内容，再通过正则表达式找出所有文章的标题和URL并打印。

摘要由CSDN通过智能技术生成

# -*- coding: UTF-8 -*-
#导入request和re模块
from urllib import request
import re
#防止被应用到其他模块调用
if __name__ == "__main__":
#自己的CSDN list地址注意格式
    url = 'https://blog.csdn.net/icanflyingg/article/list/'
    head = {}
#定义一个字典，将爬虫程序披上浏览器访问的外衣
    head['User-Agent'] = 'User-Agent,Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.90 Safari/537.36 2345Explorer/9.3.2.17331'
    #自己CSDN页码数
    for i in range (1,10):
        url1=url+str(i)
        #把所需要的请求参数进行打包,然后一起交给urlopen 进行请求
        req = request.Request(url1, headers=head)
        #发起请求
        response = request.urlopen(req)
        #对收集的参数进行解码
        html = response.read().decode('utf-8')
            #re.M ：多行匹配
            #"re.S"单行匹配,如果分行则显示为一行/n
            #re.I : 忽略大小写
        arr = re.findall(r'<h4 .*?>(.+?)</h4>',html,re.I|re.S|re.M)
        for value in arr:
            #打印文章url  
            #"lstrip()":去除字段前面空格
            #"rstrip()":把右边的空格去掉
            #"strip()":把头和尾的空格去掉(sep=(''))
            #"re.S"单行匹配,如果分行则显示为一行/n
            #re.findall提取操作re.findall('匹配内容(.*)"匹配内容',value)[0])   
            weburl=str(re.findall('"(.*)" ',value)[0]).lstrip()
            print(weburl)
            ##打印标题
            title = str(re.findall('</span>(.*)</a>', value, re.S)[0]).lstrip()
            print(title)