Python爬取天气数据，并每天定时发送到QQ邮箱

最近天气变化比较快，就写了一个每天定时爬取天气然后发送到邮箱的程序，话不多说，直接开搞。本次数据处理将以正则进行处理。
就以济南作为本次爬取的地区。
1.首先百度济南天气，获取其页面的url

http://www.weather.com.cn/weather/101120101.shtml

2.首先打开我们的开发者工具，打开抓包工具，抓取所需的数据包。
我们可以发现第一个数据包就是我们所需要的，那一切都好办了 直接进入python开始书写我们的代码。

3.首先引入相关的模块

import requests
import re
#以下三个都是邮箱发送函数
import smtplib
from email.mime.text import MIMEText
from email.utils import formataddr

之后进行代码的编写。注意！！一定要进行UA伪装

url = 'http://www.weather.com.cn/weather/101120101.shtml'

#进行UA伪装
header = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
}
response = requests.get(url=url,headers=header)
response.encoding= 'utf-8'
weather_text = response.text

在获取到页面数据以后，我们就要取出我们所需要的数据。
本次我们将要获取日期，气温，天气情况。
我们先在数据包中，找到他们所对应的数据。
当我们在数据包中搜索11日时，出现了对应的数据

所以，我们先建立第一个正则表达式
对于正则表达式不太会应用的小伙伴可以去看我另一篇文章。点击下方蓝字即可跳转

正则表达式处理数据方法

ex = '<li class=".*?">.*?<h1>(.*?)</h1>'

用相同的办法我们得到获取温度，天气情况的正则表达式

#天气情况正则表达式
ex2 = '</big>.*?<p title="(.*?)" class="wea"'
#最低温正则表达式
ex3 = '<p class="tem">.*?<i>(.*?)</i>'
#最高温正则表达式
ex4 = '<p class="tem">.*?<span>(.*?)</span>'

之后分别进行数据处理
由于利用正则表达式获取后的数据是一个列表，所以我们要用一个循环将其取出

date_list = re.findall(ex,weather_text,re.S)
condition_list = re.findall(ex2,weather_text,re.S)
min_tempture_list = re.findall(ex3,weather_text,re.S)
max_tempture_list = re.findall(ex4,weather_text,re.S)
#为了更好的处理数据，我们建立三个字典
weather_condition = {}#天气情况
weather_tempture_min = {}#最低温
weather_tempture_max = {}#最高温
#在调试输出时发现，有时在晚上获取天气情况时，会出现当天的最高温不存在的情况所以我们要手动添加其为“无”
if len(max_tempture_list) == 6:
    weather_tempture_max[date_list[0]] = '无'
    for each in range(0,3):
        weather_condition[date_list[each]] = condition_list[each]
        weather_tempture_min[date_list[each]] = min_tempture_list[each]
    for i in range(1,3):
        weather_tempture_max[date_list[i]] = max_tempture_list[i]
else:
    for each in range(0,3):
        weather_condition[date_list[each]] = condition_list[each]
        weather_tempture_min[date_list[each]] = min_tempture_list[each]
        weather_tempture_max[date_list[each]] = max_tempture_list[each]
        
print(weather_tempture_max)
print(weather_tempture_min)
print(weather_condition)
#将字典中的数据取出，进行处理
text1 = []
for n in range(0,3):
    text1.append('日期：' + date_list[n] + '\n天气状况:' + weather_condition[date_list[n]] + '\n最低温--最高温:' + weather_tempture_min[date_list[n]] + '-' + weather_tempture_max[date_list[n]])
    print(text1)
text2 = text1[0] + '\n' + text1[1] + '\n '+ text1[2]
print(text2)

调试输出后，获得正确的数据。

之后开始编写我们的邮件发送代码
此代码是使用了smtp服务器进行发送，在进行代码编辑时，需要将代码中的账号密码修改成自己的。
1.首先进入QQ邮箱

2.点击设置，并点击账户

3.开启POP/SMTP方式

并获取授权码
下面代码中的password就是此密码

fromaddrs = '782268618@qq.com'  # 发件人邮箱账号
password = 'xxxxxx'   # 发件人邮箱密码  即配置生成的授权码 授权码获取方法在上方段落中，一定要修改54，55，56行代码
toaddrs = '782268618@qq.com'  # 收件人邮箱账号，这边发送给自己,你可以填想要发送的邮箱
def mail():
    ret = True
    try:
        msg = MIMEText('内容', 'plain', 'utf-8')
        msg['From'] = formataddr(["From@修业", fromaddrs])  # 发件人邮箱昵称、发件人邮箱账号
        msg['To'] = formataddr(["FK", toaddrs])  # 收件人邮箱昵称、收件人邮箱账号
        msg['Subject'] = "每日天气"  # 邮件的主题

        server = smtplib.SMTP_SSL("smtp.qq.com",)  # qq邮箱SMTP服务器，端口是25
        server.login(fromaddrs, password)  # 发件人邮箱账号、邮箱密码
        server.sendmail(fromaddrs, [toaddrs, ], msg.as_string())  # 发件人邮箱账号、收件人邮箱账号、发送邮件
        server.quit()  # 关闭连接
    except Exception:  # 如果 try 中的语句没有执行，则会执行下面的 ret=False
        ret = False
    return ret
ret = mail()
if ret:
    print("邮件发送成功")
else:
    print("邮件发送失败")

以下是完整代码：
注意！！！！一定要将第54，55，56行代码进行修改，修改成你自己的smtp服务器账号密码，如何开启smtp与如何获取密码在上方内容中。

import requests
import re
#以下三个都是邮箱发送函数
import smtplib
from email.mime.text import MIMEText
from email.utils import formataddr
url = 'http://www.weather.com.cn/weather/101120101.shtml'

#进行UA伪装
header = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
}
response = requests.get(url=url,headers=header)
response.encoding= 'utf-8'
weather_text = response.text
ex = '<li class=".*?">.*?<h1>(.*?)</h1>'
#天气情况正则表达式
ex2 = '</big>.*?<p title="(.*?)" class="wea"'
#最低温正则表达式
ex3 = '<p class="tem">.*?<i>(.*?)</i>'
#最高温正则表达式
ex4 = '<p class="tem">.*?<span>(.*?)</span>'
date_list = re.findall(ex,weather_text,re.S)
condition_list = re.findall(ex2,weather_text,re.S)
min_tempture_list = re.findall(ex3,weather_text,re.S)
max_tempture_list = re.findall(ex4,weather_text,re.S)
#为了更好的处理数据，我们建立三个字典
weather_condition = {}#天气情况
weather_tempture_min = {}#最低温
weather_tempture_max = {}#最高温
#在调试输出时发现，有时在晚上获取天气情况时，会出现当天的最高温不存在的情况所以我们要手动添加其为“无”
if len(max_tempture_list) == 6:
    weather_tempture_max[date_list[0]] = '无'
    for each in range(0,3):
        weather_condition[date_list[each]] = condition_list[each]
        weather_tempture_min[date_list[each]] = min_tempture_list[each]
    for i in range(1,3):
        weather_tempture_max[date_list[i]] = max_tempture_list[i]
else:
    for each in range(0,3):
        weather_condition[date_list[each]] = condition_list[each]
        weather_tempture_min[date_list[each]] = min_tempture_list[each]
        weather_tempture_max[date_list[each]] = max_tempture_list[each]
        
print(weather_tempture_max)
print(weather_tempture_min)
print(weather_condition)
text1 = []
for n in range(0,3):
    text1.append('日期：' + date_list[n] + '\n天气状况:' + weather_condition[date_list[n]] + '\n最低温--最高温:' + weather_tempture_min[date_list[n]] + '-' + weather_tempture_max[date_list[n]])
    print(text1)
text2 = text1[0] + '\n' + text1[1] + '\n '+ text1[2]
print(text2)
fromaddrs = '782268618@qq.com'  # 发件人邮箱账号
password = 'xxxxxx'   # 发件人邮箱密码  即配置生成的授权码
toaddrs = '782268618@qq.com'  # 收件人邮箱账号，这边发送给自己,你可以填想要发送的邮箱
def mail():
    ret = True
    try:
        msg = MIMEText('内容', 'plain', 'utf-8')
        msg['From'] = formataddr(["From@修业", fromaddrs])  # 发件人邮箱昵称、发件人邮箱账号
        msg['To'] = formataddr(["FK", toaddrs])  # 收件人邮箱昵称、收件人邮箱账号
        msg['Subject'] = "每日天气"  # 邮件的主题

        server = smtplib.SMTP_SSL("smtp.qq.com",)  # qq邮箱SMTP服务器，端口是25
        server.login(fromaddrs, password)  # 发件人邮箱账号、邮箱密码
        server.sendmail(fromaddrs, [toaddrs, ], msg.as_string())  # 发件人邮箱账号、收件人邮箱账号、发送邮件
        server.quit()  # 关闭连接
    except Exception:  # 如果 try 中的语句没有执行，则会执行下面的 ret=False
        ret = False
    return ret
ret = mail()
if ret:
    print("邮件发送成功")
else:
    print("邮件发送失败")