万年历的爬取
目标网址:https://wannianrili.bmcx.com/
目标:获取1970年到2021年每一天的天干地支
查看万年历网址的Network,在转换月份或者年份的时候发现network中出现了一些新的东西
点开一看,就是我们需要获取的数据,而且url方便更改,更改其中的年份和月份即可对应。
因为获取的是1970-2021的每一天,数据量比较大,所以在爬的过程中要做注意添加时间元件,控制每次爬取的速度。接下来编写代码:
// An highlighted block
import requests,openpyxl,time # 导入模块
from bs4 import BeautifulSoup
import random
wb = openpyxl.Workbook()
sheet = wb.active
sheet.title = '数据' #自定义表名
a = 1
for i in range(1970,2022):
if a == 1:
for j in range