老黄历数据难找？自写代码爬取

最新推荐文章于 2024-10-08 18:22:21 发布

搬码工琪老师

最新推荐文章于 2024-10-08 18:22:21 发布

阅读量1.2k

点赞数 1

分类专栏：爬虫文章标签： python

本文链接：https://blog.csdn.net/hq606/article/details/105337540

版权

本文介绍了作者因找不到免费的老黄历数据，而决定自行编写Python爬虫来获取1892年至2099年的全面黄历信息。爬取的数据包括主要的黄历内容，并计划后续存储到数据库中，强调了数据资源的重要性。

摘要由CSDN通过智能技术生成

网上看到很多日历，万年历数据基本开源。但是老黄历可是难找。很多要花钱才能下载，
或者有免费接口，还得注册。干脆自己爬取数据，将来好用得着。直接上代码。

import requests
import json
import time
import pandas as pd
import  re
from bs4 import BeautifulSoup
from collections import OrderedDict
import csv
import random

year=range(1900,2099)
month=range(1,13)
  
def geturl():
    for i in year:
        for j in month:
             for k in range(1,32):

                if j<10 and k<10:
                    day=str(i)+'0'+str(j)+'0'+str(k)
                    url= "http://nongli.dunkun.com/"+ str(day)+".html"
                
                elif j<10 and k>=10:
                    day=str(i)+'0'+str(j)+str(k)
                    url