爬取中国红娘网数据(精简版)
一、爬取过程分析
1、引入requests库,获取网页源代码:
2、引入BeautifulSoup库,解析网页源代码并获取所需数据:
3、利用for循环函数获取网页1页数据:
4、利用for循环函数获取网页10页数据(获取页数只需变更for循环次数即可):
5、引入pandas库,创建存储数据列表并将爬取网页数据在存储列表中输出:6、引入openpyxl库,将爬取网页数据保存至excel表中(import os—os.getcwd()用于查看数据保存位置):
2、爬取函数汇总
上代码:
#主函数
import requests
from bs4 import BeautifulSoup
import pandas as pd
import openpyxl
#定义存储变量
nianling=[]
diqu=[]
hunyin