Requests简单爬取婚恋网站

这篇博客介绍了如何利用Requests库爬取一个婚恋网站的用户信息,包括设置爬取条件、解析网页、保存头像和基本信息。博主通过分析网站URL结构,实现了多页数据的抓取,并将抓取到的头像URL和用户信息存储到本地文件中。
摘要由CSDN通过智能技术生成

前言

看到B站上有个爬取一个婚恋网站自己也就照着写了一个 也就是对requests库的一个简单使用 和对爬取的信息写入文件

对网站信息的抓取首先要对网站的结构进行分析这会让我们在后续中提供很大的便利

www.7799520.com/api/user/pc/list/search?startage=21&endage=30&gender=2&cityid=221&startheight=161&endheight=170&marry=1&salary=2&page=1
通过它的url地址发现他是根据我们选择的条件筛选出符合的数据加载出来 然后可以通过page可以查看多页数据(网站的多页数据都是在一个网页下显示出来的)

导入包

对网站分析之后先把需要的包可以导入进来 自己通过resquests库进行爬取当然先把requests库导入后续有文件操作所以导入os模块 其他模块在使用过程中可以导入

import requests
import os
import json

设置爬取条件

def set_age():
    #输入期望的年龄
    age = int(input("请输入期望的年龄(如:25): "))
    #年龄区间
    if  21 <= age <= 30:
        startage =21
        endage = 30
    elif 31 <= age <= 40:
        startage = 21
        endage = 30
    elif 41 <= age <= 50:
        startage = 21
        endage = 30
    elif 51 <= age <= 60:
        startage = 21
        endage = 30
    else:
        startage = 0
        endage =0
    return startage,endage
def set_sex():
    #输入性别
    sex = input("请输入对方的性别(如:女): ")
    if sex == '男':
   
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值