python接收邮件内容启动程序关闭方法_Python的scrapy框架爬虫项目中加入邮箱通知(爬虫启动关闭等信息以邮件的方式发送到邮箱)...

本篇博客介绍如何在Python的Scrapy框架中集成邮箱通知功能,用于在爬虫启动和关闭时发送邮件。内容包括使用SMTP_SSL发送文本邮件的实现代码,以及在Scrapy的start_requests和closed方法中调用邮件发送功能,以便实时更新爬虫状态。
摘要由CSDN通过智能技术生成

前面关于发送邮件的博客参考:普通邮件博客——点击打开链接                                                 带附件的邮件——点击打开链接

准备:

1、创建scrapy爬虫项目

2、代码主要是两部分:

2454b86a431edad892f91960f60b22a6.png

呈上代码

第一部分是发送邮件的代码:import smtplib

from email.mime.text import MIMEText

import logging

class EmailSend(object):

def __init__(self):

self.logging = logging.getLogger('Waring')

self.email_host = 'smtp.qq.com'

self.email_port = '465'

self.email_pass = '授权码(或密码,不推荐密码)'

def send_text_email(self, from_addr, to_addrs, subject, content):

self.logging.warning('send_text_email is willed 丢弃')

self.logging.error('send_text_email is None')

message_text = MIMEText(content, 'plain', 'utf8')

message_text['From'] = from_addr

message_text['To'] = to_addrs

message_text['Subject'] = subject

try:

# 在创建客户端对象的同时,连接到邮箱服务器。

client = smtplib.SMTP_SSL(host=self.email_host, port=self.email_port)

login_result = client.login(from_addr, self.email_pass)

if login_result and login_result[0] == 235:

print('登录成功')

client.sendmail(from_addr, to_addrs, message_text.as_string())

print('邮件发送成功')

else:

print('邮件发送异常:',login_result[0], login_result[1])

except Exception as e:

# print('连接邮箱服务器异常:',e)

self.logging.error('连接邮箱服务器异常:{}'.format(e))

def send_image_email(self):

pass

def send_word_email(self):

pass

def send_video_email(self):

pass

"""

1. start_spider

"""

注意:上述代码中可自定义发送内容(文本:send_word_email,视频:send_video_email....)主要是在爬虫项目中调用该模块发送邮件(包含参数:from_addr, to_addrs, subject, content)

01741a72f46de94e921a6bf6667bd6b3.png

爬虫项目代码如下:# -*- coding: utf-8 -*-

import scrapy, time

from datetime import datetime

from ..emailsend import EmailSend

class EmailtestSpider(scrapy.Spider):

name = 'emailtest'

allowed_domains = ['baidu.com']

start_urls = ['http://www.baidu.com/']

# 在爬虫启动和关闭的时候,分别发送邮箱,通知爬虫管理者。

def start_requests(self):

email = EmailSend()

content = '爬虫启动时间:{}'.format(datetime.now())

email.send_text_email('发送邮箱@qq.com', '接收邮箱@qq.com', '爬虫结束', content)

for url in self.start_urls:

yield scrapy.Request(url=url, callback=self.parse)

def parse(self, response):

time.sleep(10)

print('123')

def closed(self, reason):

# 爬虫关闭的时候,会调用这个方法

email = EmailSend()

content = '爬虫关闭时间:{}'.format(datetime.now())

email.send_text_email('发送邮箱@qq.com', '接收邮箱@qq.com', '爬虫结束', content)注意:1、示例代码中邮件内容是当前时间(爬虫开始结束时间:作用可以计算爬虫速度!),当发送消息是需要调用,要注意发送的参数是:'发送邮箱@qq.com', '接收邮箱@qq.com', '爬虫结束', content

2、最后爬虫结束是的closed函数

641b0855c2011401a6a8cea12891c357.png

closed函数对应的是爬虫项目中(源码)的close函数,如下:

e44c495cb276f7d5b042ebddfa50c09c.png

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值