某站获取前N名注册用户爬虫

如题先上代码:

import requests
import re
from bs4 import BeautifulSoup
import time

# 设置请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}

# 遍历页面并爬取标题
for i in range(1, 101):
    url = f'https://space.bilibili.com/{i}'
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    title = soup.find('title').text
    match = re.search(r'^(.*)的个人空间-.*$', title)
    if match:
        title = match.group(1)
    print(f'{url}: {title}')
    time.sleep(0.5)

这段程序实现了爬取某站用户个人主页的标题,其中包含了该用户的昵称和个人主页的描述。程序使用requests库发送HTTP GET请求获取页面内容,使用BeautifulSoup库解析HTML内容,然后使用正则表达式匹配标题中的昵称部分。如果找到了昵称,则输出格式为"{url}: {昵称}“,否则输出格式为”{url}: {完整标题}"。程序每次请求页面后会暂停0.5秒钟,以免对某站服务器造成过大的负载。循环次数为1到100,即爬取用户编号为1到100的个人主页。也可以更改里面的值,更改要爬取的数量

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值