scrapy爬虫——给女朋友的天气预报（简单模板版）

邮箱设置

在使用Python自动发送邮件之前，需要对我们的QQ邮箱进行简单的配置，过程如下：

1.首先登陆QQ邮箱，点击”设置“，然后选择“账户”如下图所示：

2.在账户页面往下拉，看到“POP3/SMTP”设置，点击开启按钮，如下图所示：

3.弹出如下图所示界面，然后发送这条短信至指定号码，点击“我已发送”按钮。

4.弹出的提示中会显示16位授权码，注意一定要记住这个授权码，后面写Python代码也需要，然后点击“确定”按钮。

到这一步我们已完成了邮箱的设置，接下来进行天气网信息的爬取。

爬取天气预报

1.分析网页

中国天气网: http://www.weather.com.cn/weather1d/101280101.shtml

2.分析源码，获取你需要的信息，因为我主要是在晚上十点半定时发送第二天的天气情况，所以我获取第二天的天气情况

天气网解析步骤

a.借助浏览器查看，我们可以发现找出天气预报所在的范围，如图。推荐大家逐步缩小范围获取元素，一步到位虽然方便，但是出现偏差的几率比较大。

b.然后查看第二天天气信息所在的位置，如图，我们会看到明天和后天的天气信息分别在两个<li>中，到这一步，我们已经能够确定了第二天天气信息所在的位置。

c.既然已经第二天天气信息的位置，我们就来获取需要的信息，如图可以找出“天气”和“温度”的信息。（如果大家想获取其他的，也是一样的）

到这里之后，话不多说，直接上代码。（代码中有注释哦）

spiders

# -*- coding: utf-8 -*-
import scrapy
from bs4 import BeautifulSoup

class Weatopost01Spider(scrapy.Spider):
    name = 'weaToPost01'
    allowed_domains = ['com.cn']
    start_urls = ['http://www.weather.com.cn/weather1d/101280101.shtml']

    def parse(self, response):
        soup = BeautifulSoup(response.text,"html.parser") # 使用BeautifulSoup解析响应的网页
        content = ""
        name = soup.find_all(attrs={"class":"t"})[0] # 对应a步骤获取到全部天气的信息
        mingtian = name.find_all('li')[0]            # 对应b步骤获取到第二天天气信息
        wea = mingtian.find(attrs={"class": "wea"}).get_text() # 对应c步骤，获取天气情况
        tem = mingtian.find(attrs={"class": "tem"}).get_text() # 对应c步骤，获取温度
        yield {"天气": wea, "温度": tem.replace("\n", "")}

pipeline

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
import smtplib
from email.mime.text import MIMEText
from email.header import Header

class WeatopostPipeline(object):
    def process_item(self, item, spider):
        msg_from = "邮箱账号"
        EMAIL_HOST_PASSWORD = '授权码'  # 这个授权码不是你的密码，而是发送短信后生成的授权码
        msg_to = "目标邮箱账号"
        subject = "天气预报"
        wea = item['天气']
        tem = item['温度']
        msgend = "广州明天天气为{}，温度为{},此消息来自最可爱的小猪猪".format(wea,tem)
        msg = MIMEText(msgend, 'plain', 'utf-8')
        msg['Subject'] = subject
        msg['From'] = msg_from
        msg['To'] = msg_to

        try:
            s = smtplib.SMTP_SSL("smtp.qq.com", 465)
            s.set_debuglevel(1)
            s.login(msg_from, EMAIL_HOST_PASSWORD)
            s.sendmail(msg_from, msg_to, msg.as_string())
            print("发送成功")
        except :
            print("发送失败")
        finally:
            s.quit()

settings

#使用管道
ITEM_PIPELINES = {
   'weaToPost.pipelines.WeatopostPipeline': 300,
}

说明：这只是一个简单的模板，还有很大的扩展空间，谨慎使用，因为你不知道你女朋友的前男友会不会已经用过。

---------------------------------------分割线---------------------------------------

作者说明：由于邮箱设置与开发环境不完全一直，如果未运行成功，可联系作者调试，免费的哦。

作者联系方式：

QQ:2513106204

number:13065112219