前言
看到B站上有个爬取一个婚恋网站自己也就照着写了一个 也就是对requests库的一个简单使用 和对爬取的信息写入文件
对网站信息的抓取首先要对网站的结构进行分析这会让我们在后续中提供很大的便利
www.7799520.com/api/user/pc/list/search?startage=21&endage=30&gender=2&cityid=221&startheight=161&endheight=170&marry=1&salary=2&page=1
通过它的url地址发现他是根据我们选择的条件筛选出符合的数据加载出来 然后可以通过page可以查看多页数据(网站的多页数据都是在一个网页下显示出来的)
导入包
对网站分析之后先把需要的包可以导入进来 自己通过resquests库进行爬取当然先把requests库导入后续有文件操作所以导入os模块 其他模块在使用过程中可以导入
import requests
import os
import json
设置爬取条件
def set_age():
#输入期望的年龄
age = int(input("请输入期望的年龄(如:25): "))
#年龄区间
if 21 <= age <= 30:
startage =21
endage = 30
elif 31 <= age <= 40:
startage = 21
endage = 30
elif 41 <= age <= 50:
startage = 21
endage = 30
elif 51 <= age <= 60:
startage = 21
endage = 30
else:
startage = 0
endage =0
return startage,endage
def set_sex():
#输入性别
sex = input("请输入对方的性别(如:女): ")
if sex == '男':