【爬虫】力扣每日一题每天自动邮件提醒!!!

使用python实现了一个力扣每日一题每天自动邮件提醒的小爬虫,小但实用!!!



A.需求来源与分析

需求来源于生活,对于只是偶尔有兴趣做做题的我,力扣的每日一题对我一直有以下的不便:

  • 太简单不想做,需要花太多时间的不想做,每天打开力扣其实只是想看一下是什么题,有意思才做。
  • 看题需要打开电脑,而且打开电脑也不一定记得要去看看题,要是能把每日一题直接推送到我邮箱里就好了,这样每天起床的时候就能在手机的邮箱里看一看每日一题,如果确实有意思,再打开电脑的时候去做。
  • 有几天没做后,甚至会忘记力扣的每日一题这件事情,然后就是很长一段时间不会去做题。

其实有些需求主要是因为我懒(bushi),但是,程序员要学会偷懒!于是我简单整理了一下我的需求:

  • 每天早上的某个时候(最好是我起床的时候),能把每日一题推送到我的邮箱。
  • 我能直接通过邮箱看到题目什么难度、考察哪些点、题目的内容,并且能直接点一下就进入题目。

说干就干,开工!于是花了一点时间把这样一个小玩意儿弄出来了。

B.技术角度分析

其实这件事情很简单,我只需要分析出力扣上每日一题的接口,然后写个python脚本把题目信息拿到,然后用smtp协议给我自己发封邮件即可,将这个脚本写入我服务器的crontab上,每天早上就自己跑了。接下来按照这些部分去分析即可。

C.具体分析步骤

大致就是:分析接口协议->获取题目信息->写脚本将信息发送到我的邮箱->将这个接口写入crontab。

1.接口协议分析

开始之前先讲点武德,我们先看一下力扣的robots.txt,看看哪些是不能爬的:
在这里插入图片描述

然后再去抓个包,看下哪个包最后得到了每日一题的数据:

在这里插入图片描述

发现这个包请求的结果就是每日一题:

在这里插入图片描述

幸运的是,这个接口并没有在上述robots.txt中,我们可以写个脚本模拟一下这个发包,注意到请求头中有csrf-token:

在这里插入图片描述

稍微找一下,可以发现返回包的cookie里面就带有csrf-token,所以我们提前请求一下即可,就可以从cookie中拿到csrf-token了。
这个请求体,很明显是graphql的请求参数,仔细看一下,发现并不需要传啥参数,所以直接调用即可。

再去看一下进入题目页面时候的关键请求接口,可以找到是这个接口:

在这里插入图片描述
在这里插入图片描述

返回的数据都是json,格式化一下就可以找到关键数据。

2.发邮件

此篇若有不清楚的见下面使用说明

3.写crontab放服务器上定时跑

每天上午11点自动提醒:(替换成自己的路径)

crontab –e
0 11 * * * python3 /home/atfwus/sheduler-script/lc-today-question/lc-day-title.py

D.成品

1.源代码

lc-day-title.py,自动采集每日一题的数据并发邮件提醒:

import requests,json,time

session = requests.session()

lc_url = 'https://leetcode.cn'
graphql_url = '/graphql'

def int_csrf():
    session.get(lc_url + graphql_url)

int_csrf()

user_agent = r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'
headers = {
    'x-requested-with' : 'XMLHttpRequest',
    'accept' : '*/*',
    'User-Agent': user_agent,
    'Connection': 'keep-alive',
    'origin': 'https://leetcode.cn',
    'Content-Type' :'application/json',
    'X-Csrftoken': session.cookies['csrftoken']
}

def get_today_question():
    param = '''
    query questionOfToday {
      todayRecord {
        date
        userStatus
        question {
          questionId
          frontendQuestionId: questionFrontendId
          difficulty
          title
          titleCn: translatedTitle
          titleSlug
          paidOnly: isPaidOnly
          freqBar
          isFavor
          acRate
          status
          solutionNum
          hasVideoSolution
          topicTags {
            name
            nameTranslated: translatedName
            id
          }
          extra {
            topCompanyTags {
              imgUrl
              slug
              numSubscribed
            }
          }
        }
        lastSubmission {
          id
        }
      }
    }
    '''

    data = {
        "query": param,
        "variables": {}
    }

    r = session.post(lc_url+graphql_url, headers=headers, data=json.dumps(data))
    return r.json()

def get_one_question(title_slug):
    param = '''
    query questionData($titleSlug: String!) {
          question(titleSlug: $titleSlug) {
            questionId
            questionFrontendId
            categoryTitle
            boundTopicId
            title
            titleSlug
            content
            translatedTitle
            translatedContent
            isPaidOnly
            difficulty
            likes
            dislikes
            isLiked
            similarQuestions
            contributors {
              username
              profileUrl
              avatarUrl
              __typename
            }
            langToValidPlayground
            topicTags {
              name
              slug
              translatedName
              __typename
            }
            companyTagStats
            codeSnippets {
              lang
              langSlug
              code
              __typename
            }
            stats
            hints
            solution {
              id
              canSeeDetail
              __typename
            }
            status
            sampleTestCase
            metaData
            judgerAvailable
            judgeType
            mysqlSchemas
            enableRunCode
            envInfo
            book {
              id
              bookName
              pressName
              source
              shortDescription
              fullDescription
              bookImgUrl
              pressImgUrl
              productUrl
              __typename
            }
            isSubscribed
            isDailyQuestion
            dailyRecordStatus
            editorType
            ugcQuestionId
            style
            exampleTestcases
            jsonExampleTestcases
            __typename
          }
        }
    '''
    data = {
        "operationName": "questionData",
        "variables": {
            "titleSlug": title_slug
        },
        "query": param
    }
    r = session.post(lc_url + graphql_url, headers=headers, data=json.dumps(data))
    return r.json()

def send_to_mail(q, sf):
    q = q['data']['question']
    id = q['questionFrontendId']
    title = q['translatedTitle']
    url = 'https://leetcode.cn/problems/' + q['titleSlug']
    ac_rate = '{:.2%}'.format(sf['acRate'])
    def generate_subject():
        day_str = time.strftime('%m月%#d日', time.localtime(time.time()))
        return f'力扣{day_str}每日一题来咯!!!({id}.{title})'
    print(generate_subject())

    def generate_plain():
        content = q['translatedContent']
        difficulty = q['difficulty']
        tags = []
        for i in q['topicTags']:
            tags.append(i['translatedName'])
        tags_str = ' '.join(tags)
        return f'''
        题目名称:{id}.{title}&nbsp&nbsp&nbsp&nbsp&nbsp题目难度:<strong>{difficulty}</strong>&nbsp&nbsp&nbsp&nbsp&nbspAC率:{ac_rate}&nbsp&nbsp&nbsp&nbsp&nbsp题目链接:<a href="{url}">{url}</a><br>
        题目标签:{tags_str}<br>
        {content}
        '''.strip()
    print(generate_plain())

    from mail import send_mail
    send_mail(subject=generate_subject(), plain=generate_plain())

sf = get_today_question()
s = get_one_question(sf['data']['todayRecord'][0]['question']['titleSlug'])

send_to_mail(s, sf['data']['todayRecord'][0]['question'])

mail.py,用于发邮件:

import smtplib
from email.mime.text import MIMEText
from email.header import Header


def init_con():
    # 创建 SMTP 对象
    smtp = smtplib.SMTP()
    # 连接(connect)指定服务器
    smtp.connect("smtp.qq.com", port=25)
    # 登录,需要:登录邮箱和授权码
    smtp.login(user="***", password="***")

    return smtp

def send_mail(subject, plain):
    smtp = init_con()

    # 构造MIMEText对象,参数为:正文,MIME的subtype,编码方式
    message = MIMEText(plain, 'html', 'utf-8')
    message['From'] = Header("Leetcode 每日一题提醒 By ATFWUS", 'utf-8')  # 发件人的昵称
    message['To'] = Header("ATFWUS", 'utf-8')  # 收件人的昵称
    message['Subject'] = Header(subject, 'utf-8')  # 定义主题内容

    smtp.sendmail(from_addr="***", to_addrs="***", msg=message.as_string())

2.效果

每日一题来咯!!!

请添加图片描述请添加图片描述

3.使用说明

只需要修改mail.py中的邮箱和密码即可,然后将两个py文件放在云服务器上,crontab定时任务自动执行。
下面是密码的获取方式:
qq邮箱中,点设置,在这个地方找到授权码,申请授权码,并填在上面mail.py脚本的password上。

在这里插入图片描述


免责申明

本文仅供技术交流学习使用,严禁使用于任何商业用途,若有任何侵权行为请联系我删除!


ATFWUS 2022-12-05

  • 28
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ATFWUS

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值