利用python中的正则爬虫

以FreeBuf的首页为例爬取链接和标题

# coding:utf-8
import requests
from bs4 import BeautifulSoup
import re

def get_data():
    url = "https://www.freebuf.com/"
    headers = {
            'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:94.0) Gecko/20100101 Firefox/94.0'
        }
    res = requests.get(url, headers=headers, timeout=5)
    print(res)
    # 自动分析网页内容的编码方式
    res.encoding = res.apparent_encoding
    #lxml解析网页
    soup = BeautifulSoup(res.text, 'lxml')
    # 正则匹配链接和标题
    findlink = re.compile(r'<a .* href="(/.*?)" .*>',re.S)
    findspan = re.compile(r'<span .*>(.*?)</span>')
    #遍历div,正则匹配
    for i in soup.find_all('div', class_='title-left'):
        i = str(i)
        link = findlink.findall(i)
        URL = url+link[0]
        span = findspan.findall(i)
        SPAN = span[0]
        print(SPAN, '\n', URL, '\n')


if __name__ == '__main__':
    get_data()

  • 0
    点赞
  • 0
    收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:游动-白 设计师:我叫白小胖 返回首页
评论

打赏作者

secaaron

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值