采集万年数据

最新推荐文章于 2022-01-23 08:51:09 发布

warrah

最新推荐文章于 2022-01-23 08:51:09 发布

阅读量144

点赞数

分类专栏：岁月云——python 文章标签：爬虫

本文链接：https://blog.csdn.net/warrah/article/details/122632834

版权

通过编写爬虫收集1900年至2100年的万年历数据，分析发现尽管期间存在重复的八字，但由于节气时间差异，流年运势并不相同，影响个人命运。最多出现的八字仅重复3次，展示出命运的多样性。

摘要由CSDN通过智能技术生成

学习子平的人，身边总要一本万年历，盲派也会记忆其中一年立春的时间，这样方便排大运流年，我的记忆力不好，但擅长计算机，写一个爬虫采集便民万年历的数据，从1900年到2100年两百年73414天时间
早起我以为这200年八字应该会有重复的，那是不是很多人的命运不一样，但实际却不是这样，有3360个八字没有出现，最多的出现了3次，但即使相同的八字，因为节气时间不一样，导致虽然八字相同，但是流年不同，实际运气也会不一样，因为流年运势可以足以左右一个人，有的时候一个坎思想上迈不过去，就很难。
1 数据采集

import re
import scrapy
from pyquery import PyQuery as pq
from life_example.items import PerpetualCalendarItem


class WnlSpider(scrapy.Spider):
    name = "wnl"
    headers = {
   'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36',
               'Referer': 'https://wannianrili.bmcx.com/'}

    start_urls = [
        "http://www.baidu.com",
    ]

    def parse(self, response):
        for year in range(2022,2023):
            for month in range(2,13):
                url = 'https://wannianrili.bmcx.com/ajax/?q={}-{}&v=20031912'.format(year,month)
                yield scrapy.Request(url=url, headers=self.headers, callback=self.parse_page,dont_filter=True)