爬取天气信息通过邮箱定时发送

最新推荐文章于 2024-04-24 11:57:57 发布
最新推荐文章于 2024-04-24 11:57:57 发布
阅读量1.8k 收藏 2
点赞数
分类专栏： Python 文章标签： python 爬虫 定时任务
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45834577/article/details/115133363
版权

爬取天气信息通过邮箱定时发送

  1. 准备事项:

演示网址:http://www.weather.com.cn/weather1d/101281905.shtml

运行库版本

beautifulsoup=4 4.9.3

requests= 2.25.1

schedule =1.0.0

准备好需要的库

pip install xxx

需要用到的库

import requests
import smtplib
import schedule
import time
from bs4 import BeautifulSoup
from email.mime.text import MIMEText
from email.header import Header
  1. 进入到该网址确定要爬取的信息

image-20210323110220772

image-20210323110437659)

  1. 确定好之后游览器打开开发者工具确定我们要爬取的信息的标签位置点击小箭头

​ 1

  1. 通过上一步操作我们可以发现天气标签被包裹在ul标签里面
headers={
    'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
}
#防止反爬,伪装成游览器请求头
url='http://www.weather.com.cn/weather1d/101281905.shtml'
res=requests.get(url,headers=headers)
#打印返回状 态码200为成功
print(res.status_code)
res.encoding='utf-8' #把获取到信息设置为utf-8

#利用BeautifulSoup解析数据
soup=BeautifulSoup(res.text,'html.parser')
#找到需要的度数和天气状况的父标签
wea1=soup.find('div',class_='t').find('ul',class_='clearfix')
#从父标签找到需要的度数
wea=wea1.find('p',class_='tem').text
weather=wea1.find('p',class_='wea').text
print(wea)#打印测试
print(weather)#打印测试

运行截图

image-20210323123223299

  1. 接下来爬取生活指数

2

分析:

image-20210323130703858

因为单纯找clearfix标签是找不到生活指数的 有多个 所以定位父标签要往上一级但是上一级也有多个left-div

BeautifulSoup的find_all方法返回的是一个列表 也就是我们想要的数据在列表的第4个 也就是下标为3

  1. 还是要找到离要的数据 他们共同的父标签

直接上代码

headers={
    'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
}
#防止反爬,伪装成游览器请求头
url='http://www.weather.com.cn/weather1d/101281905.shtml'
res=requests.get(url,headers=headers)
#打印返回状 态码200为成功
print(res.status_code)
res.encoding='utf-8' #把获取到信息设置为utf-8

#利用BeautifulSoup解析数据
soup=BeautifulSoup(res.text,'html.parser')
#找到需要的度数和天气状况的父标签
wea1=soup.find('div',class_='t').find('ul',class_='clearfix')
#找到需要的度数
wea=wea1.find('p',class_='tem').text
weather=wea1.find('p',class_='wea').text
print(wea)
print(weather)
day= soup.find_all('div', class_='left-div')[3].find('ul', class_='clearfix')

#衣物
clothes = "\n" + "衣物:" + "\n" + day.find('li', id='chuanyi').find('a').text.strip()
sun = day.find_all('li', class_='li1')
#紫外线
sun2 = "\n" + "紫外线:" + "\n" + sun[1].text.strip() + "\n"
#不宜
not_suitable= day.find('li', class_='li4').text.strip()
print(sun2)
print(clothes)
print(not_suitable)

image-20210323133036554

image-20210323131902395

​

  1. 数据获取到了接下来用邮箱发送
    • 这里用QQ邮箱演示 发件邮箱必须开启stmp
    • 网页端邮箱点 --> 设置----> 账户
    • 必须是已开启
    • 成功之后会出现一个密码 那个密码就是用来发送邮件的密码 不是原本QQ邮箱的密码

image-20210323133555449

  1. 直接上代码(封装为一个函数)参数是爬虫的 爬到的数据
def send_email(tem,weather,clothes,sun2,hat):
    # 把qq邮箱的服务器地址赋值到变量mailhost上
    email='smtp.qq.com'
    # 实例化一个smtplib模块里的SMTP类的对象
    qqmail = smtplib.SMTP()
    #连接服务器,email是地址，25是SMTP端口号。
    qqmail.connect(email,25)
    #把录入的发件的账号 密码传入登录
    qqmail.login(account,password)
    #邮箱正文
    content= '今天的天气是：'+tem+weather+"\n"+clothes+"\n"+sun2+"\n"+hat
    # 实例化一个MIMEText邮件对象，写入邮件正文，文本格式和编码
    mess= MIMEText(content, 'plain', 'utf-8')
    subject = '今日天气预报'
    # 左边实例化一个Header邮件头对象，该对象需要写入两个参数，
    # 分别是邮件主题和编码，然后赋值给等号左边的变量mess['Subject']。
    mess['Subject'] = Header(subject, 'utf-8')
    try:
        qqmail.sendmail(account, receiver, mess.as_string())
        print ('邮件发送成功')
    except:
        print ('邮件发送失败')
    #退出    
    qqmail.quit()
  1. 定时
schedule.every().day.at("07:00").do(job)  #每天7点执行一次任务
schedule.every().Tuesday.at("12:00").do(job) #每个星期二的12:00开始一次任务
  1. 完整代码
# -*- coding: utf-8 -*-

import requests
import smtplib
import schedule
import time
from bs4 import BeautifulSoup
from email.mime.text import MIMEText
from email.header import Header

account = input(str('请输入你的邮箱:'))
password = input(str('请输入你的密码:'))
receiver = input(str('请输入收件人的邮箱:'))

headers={
    'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
}
def  weathers():
    #防止反爬,伪装成游览器请求头
    url='http://www.weather.com.cn/weather1d/101281905.shtml'
    res=requests.get(url,headers=headers)
    #打印返回状 态码200为成功
    #print(res.status_code)
    res.encoding='utf-8' #把获取到信息设置为utf-8

    #利用BeautifulSoup解析数据
    soup=BeautifulSoup(res.text,'html.parser')
    #找到需要的度数和天气状况的父标签
    wea1=soup.find('div',class_='t').find('ul',class_='clearfix')
    #找到需要的度数
    wea=wea1.find('p',class_='tem').text
    weather=wea1.find('p',class_='wea').text
    # print(wea)
    # print(weather)
    day= soup.find_all('div', class_='left-div')[3].find('ul', class_='clearfix')

    clothes = "\n" + "衣物:" + "\n" + day.find('li', id='chuanyi').find('a').text.strip()
    sun = day.find_all('li', class_='li1')
    sun2 = "\n" + "紫外线:" + "\n" + sun[1].text.strip() + "\n"
    #不宜
    not_suitable= day.find('li', class_='li4').text.strip()
    # print(sun2)
    # print(clothes)
    # print(not_suitable)
    return wea, weather, clothes, sun2, not_suitable

#发送邮件函数
def send_email(tem,weather,clothes,sun2,hat):
    # 把qq邮箱的服务器地址赋值到变量mailhost上
    email='smtp.qq.com'
    # 实例化一个smtplib模块里的SMTP类的对象
    qqmail = smtplib.SMTP()
    #连接服务器,email是地址，25是SMTP端口号。
    qqmail.connect(email,25)
    #把录入的发件的账号 密码传入登录
    qqmail.login(account,password)
    #邮箱正文
    content= '今天的天气是：'+tem+weather+"\n"+clothes+"\n"+sun2+"\n"+hat
    # 实例化一个MIMEText邮件对象，写入邮件正文，文本格式和编码
    mess= MIMEText(content, 'plain', 'utf-8')
    subject = '今日天气预报'
    # 左边实例化一个Header邮件头对象，该对象需要写入两个参数，
    # 分别是邮件主题和编码，然后赋值给等号左边的变量mess['Subject']。
    mess['Subject'] = Header(subject, 'utf-8')
    try:
        qqmail.sendmail(account, receiver, mess.as_string())
        print ('邮件发送成功')
    except:
        print ('邮件发送失败')
    #退出
    qqmail.quit()

#执行函数
def work():
    print('开始一次任务')
    #weather_spider()把爬虫参数返回的5个值分别赋值给右边的tem, weather, clothes, sun2, hat
    tem, weather, clothes, sun2, hat = weathers()
    #把获取到的值传进去发送邮箱函数里面
    send_email(tem,weather,clothes,sun2,hat)
    print('任务完成')

#什么时候运行
worktime=input(str('想要什么时候运行(每天的几点):'))
schedule.every().day.at(worktime).do(work)



'''
schedule是个定时器,在while True死循环中,
schedule.run_pending()是保持schedule一直运行,
去查询上面那一堆的任务,在任务中,就可以设置不同的时间去运行。
'''
while True:
    schedule.run_pending()
    
    time.sleep(1)

image-20210323143459928

11. 补充

  • 想要长久运行的最好放服务器里面

  • 这里记录下放服务器踩的坑 巨坑

  • 这个代码直接放服务器里面会报错

  • 这里顺便贴上当时找到的解决办法的博客连接

  • https://blog.csdn.net/mp624183768/article/details/105970608?utm_source=app&app_version=4.5.0

所以放服务器的发送右键的代码应该是

def send_email(tem,weather,clothes,sun2,hat):
    smtp=smtplib.SMTP_SSL('smtp.qq.com')
    smtp.ehlo("smtp.qq.com")
    
    smtp.login(account,password)
    content= '今天的天气是:'+tem+weather+"\n"+clothes+"\n"+sun2+"\n"+hat
    message = MIMEText(content, 'plain', 'utf-8')
    subject = '今日天气预报'
    message['Subject'] = Header(subject, 'utf-8')
    try:
        smtp.sendmail(account, receiver, message.as_string())
        print ('邮件发送成功')
    except:
        print ('邮件发送失败')
    smtp.quit()

3

学会了可以发妹子啊

1

​

longtxue
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
[Python爬虫]爬取天气预报，定时发送邮件
07-18
内容分三部分：1.爬取网上天气预报的信息；2.将该天气信息以邮件形式发送；3.定时执行前两部分内容。配有详细备注！
爬取天气信息并微信发送.py
10-18
通过爬虫获取天气信息，将微信登录，利用微信发送提示消息到好友
Java实战天气邮件推送
keke的博客
10-07 469
Java实现天气邮件推送
获取天气信息并发送到QQ邮箱
m0_61310685的博客
10-15 172
无
java 天气爬虫_spring Boot手把手教学(9): 实战练习-爬虫获取取天气信息并自动发邮件，出门不再忘记带伞...
weixin_35651612的博客
02-24 1320
1、前言❝ 前情回顾：❞本篇文章，在前几篇文章的基础上，我们实战练习；❝ 使用的知识点为：❞代码生成器，自动生成Controller、 Service、serviceImpl、entity、mapper和 mapper xml代码;定时任务，定时获取最新天气数据和定时自动发送天气预报邮件使用jsoup写爬虫爬取天气预报数据，并存入mysql;2、安装依赖❝ pom.xml❞org.jsoupjso...
配置域名访问Tomcat项目
longtxue
03-22 189
Tomcat配置域名访问网站 配置Tomcat访问端口的安全组 服务器Tomcat域名配置 利用远程工具连接服务器 进入到Tomcat的安装目录 在进入到conf目录 找到server.xml 修改Engine defaultHost=‘你的域名’ 修改host <Host name="你的域名" appBase="webapps" unpackWARs="true" autoDeploy="true"> 最后加一行(这
Python-定时爬取指定城市天气(一)-发送给关心的微信好友
11-26
定时拉取指定城市天气并发送给指定好友，资源讲解地址：https://www.cnblogs.com/swarmbees/p/10023491.html
爬取天气信息-可用小系统
05-07
该代码可以实现对天气的实时获取功能，可以根据IP地址获取当前位置天气情况，也可以根据输入城市获取当天天气状况。
详解python定时简单爬取网页新闻存入数据库并发送邮件
01-19
3、程序可以将爬取下来的数据发送到邮箱。 4、程序可以定时执行。 二、项目分析 1、爬虫部分利用requests库爬取html文本，再利用bs4中的BeaultifulSoup库来解析html文本，提取需要的内容。 2、使用pymysql库连接...
Python简单程序爬取天气信息，定时以邮件发送给朋友
挪威的森林
02-06 2769
前段时间看到了这个博客。 https://blog.csdn.net/weixin_45081575/article/details/102886718。 他用了request模块，这不巧了么，正好我刚用过。 他有了smtp模块，这不巧了么，正好我刚用过。 定时发送邮件，这不巧了么，我不会 。 整体思路： Python语言封装了很多模块帮助你进行通信，所以写起来相对简单。、 1、https://d...
python：用爬虫定时向邮箱发送天气预报
有学习问题可以加我qq群：785318982，群内有大佬免费答疑
01-24 1772
import requests import smtplib import schedule import time from bs4 import BeautifulSoup from email.mime.text import MIMEText from email.header import Header sender = input('请输入发送邮箱：') pwd = input('请输入密码：') recevier = input('请输入收件邮箱：') def get_weathe
html天气预报代码_每天定时向邮箱发送天气预报
weixin_42298754的博客
01-20 2413
学习中，发现课件中有个小bug，温度没有全显示，如图代码修改后，如图：每天定时向邮箱发送天气预报代码：import requestsimport smtplibimport scheduleimport timefrom bs4 import BeautifulSoupfrom email.mime.text import MIMETextfrom email.header import Head...
Ansible 指定受控端使用Python的版本
shijin741231的博客
04-20 533
最近在装Ansible，有一台受控端Ubuntu16的服务器，安装了Python2.7.12和Pyhon3.5。当用Ansible连接它时，显示使用的是Python3.5。最后看文档，发现Ansible可以在hosts的文件中指定受控服上运行的Python。
【编译程序介绍】
武帝为此的博客
04-22 1147
简单来说，编译程序是一个软件，它读取用某种编程语言编写的源代码，分析并转换成等效的、可执行的机器语言代码。这个过程涉及多个复杂的步骤，包括语法分析、语义分析、代码优化和代码生成等。
python requests几点代理相关
i_9420的博客
04-19 508
1，很多人，包括我，应该只知道requests默认只是支持http代理，有没密码验证都一样。但是，其实呢，最新的requests已经支持 sock5 代理了，也支持密码认证；3，另外，request 现在可以使用all 参数，指定代理的所有类型，不需要像上面的那样，每个类型都指定一次。2，如果要让requests支持 sock5代理，需要导入第三方库，是不是越来越方便了呢。
【算法设计与分析】最近点对问题蛮力法破解及可视化绘图显示
FellAveal的博客
04-20 1100
难点在于多线程的学习以及可视化的操作，由于对Python的多线程不熟悉，多少也走了一些弯路。其中关键部分是通过线程间通讯传递所要可视化展示的点和连线。本文针对本课程内容上机实验一进行预习，通过python的matplotlib库提供一个可能的可视化显示代码运算的方式。（很明显是因为Python画图方便才使用的，算法还是建议用C/C++来进行实现）蛮力法的代码实现很简单，遍历数对，找到最近的点。文尽于此，本文使用Markdown编辑。由于之前便已经发觉到了。Python画图的优势。正在计算的两个点的序号。
Pandas 2.2 中文官方教程和指南（十五）
最新发布
龙哥盟
04-24 486
原文：pandas.pydata.org/docs/ 处理文本数据 原文：pandas.pydata.org/docs/user_guide/text.html 文本数据类型 在 pandas 中有两种存储文本数据的方式： object -dtype NumPy 数组。 StringDtype 扩展类型。 我们建议使用StringDtype来存储文本数据。 在 pandas 1.0 之前，object dtype 是唯一的选项。这在很多方面都是不幸的： 你可能会在object dty
jupyter爬取天气信息，保存到excel中
07-08
要在Jupyter Notebook中爬取天气信息并保存到Excel中，你可以按照以下步骤进行操作： 1. 安装所需的库：确保你已经安装了requests、beautifulsoup4和pandas库。如果没有安装，可以使用以下命令进行安装： ``` !pip ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

longtxue

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值