爬取天气信息通过邮箱定时发送

最新推荐文章于 2024-04-27 13:19:50 发布
最新推荐文章于 2024-04-27 13:19:50 发布
阅读量1.7k 收藏 9
点赞数 6
分类专栏： Python 文章标签： 爬虫 定时任务 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45834577/article/details/115125212
版权

爬取天气信息通过邮箱定时发送

  1. 准备事项:

    演示网址:http://www.weather.com.cn/weather1d/101281905.shtml
    运行库版本
    beautifulsoup=4 4.9.3
    requests= 2.25.1
    schedule =1.0.0

    准备好需要的库

    pip install xxx

    需要用到的库

    import requests
import smtplib
import schedule
import time
from bs4 import BeautifulSoup
from email.mime.text import MIMEText
from email.header import Header

  2. 进入到该网址确定要爬取的信息

    image-20210323110220772

    image-20210323110437659)

  3. 确定好游览器打开开发者工具确定我们要爬取的信息的标签位置点击小箭头

    ​ 1

  4. 通过上一步操作我们可以发现天气标签被包裹在ul标签里面

    headers={
    'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
}
#防止反爬,伪装成游览器请求头
url='http://www.weather.com.cn/weather1d/101281905.shtml'
res=requests.get(url,headers=headers)
#打印返回状 态码200为成功
print(res.status_code)
res.encoding='utf-8' #把获取到信息设置为utf-8

#利用BeautifulSoup解析数据
soup=BeautifulSoup(res.text,'html.parser')
#找到需要的度数和天气状况的父标签
wea1=soup.find('div',class_='t').find('ul',class_='clearfix')
#从父标签找到需要的度数
wea=wea1.find('p',class_='tem').text
weather=wea1.find('p',class_='wea').text
print(wea)#打印测试
print(weather)#打印测试

    image-20210323123223299

  5. 接下来爬取生活指数

    2

    分析:

    image-20210323130703858

    因为单纯找clearfix标签是找不到生活指数的 有多个 所以定位父标签要往上一级但是上一级也有多个left-div

    BeautifulSoup的find_all方法返回的是一个列表 也就是我们想要的数据在列表的第4个 也就是下标为3

  6. 还是要找到离要的数据 他们共同的父标签

    直接上代码

    headers={
    'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
}
#防止反爬,伪装成游览器请求头
url='http://www.weather.com.cn/weather1d/101281905.shtml'
res=requests.get(url,headers=headers)
#打印返回状 态码200为成功
print(res.status_code)
res.encoding='utf-8' #把获取到信息设置为utf-8

#利用BeautifulSoup解析数据
soup=BeautifulSoup(res.text,'html.parser')
#找到需要的度数和天气状况的父标签
wea1=soup.find('div',class_='t').find('ul',class_='clearfix')
#找到需要的度数
wea=wea1.find('p',class_='tem').text
weather=wea1.find('p',class_='wea').text
print(wea)
print(weather)
day= soup.find_all('div', class_='left-div')[3].find('ul', class_='clearfix')

#衣物
clothes = "\n" + "衣物:" + "\n" + day.find('li', id='chuanyi').find('a').text.strip()
sun = day.find_all('li', class_='li1')
#紫外线
sun2 = "\n" + "紫外线:" + "\n" + sun[1].text.strip() + "\n"
#不宜
not_suitable= day.find('li', class_='li4').text.strip()
print(sun2)
print(clothes)
print(not_suitable)

    image-20210323133036554

    image-20210323131902395

​

  1. 数据获取到了接下来用邮箱发送

    • 这里用QQ邮箱演示 发件邮箱必须开启smtp
    • 网页端邮箱点 --> 设置----> 账户
      image-20210323133555449
    • 必须是已开启
    • 成功之后会出现一个密码 那个密码就是用来发送邮件的密码 不是原本QQ邮箱的密码

  2. 直接上代码(封装为一个函数)参数是爬虫的 爬到的数据

    def send_email(tem,weather,clothes,sun2,hat):
    # 把qq邮箱的服务器地址赋值到变量mailhost上
    email='smtp.qq.com'
    # 实例化一个smtplib模块里的SMTP类的对象
    qqmail = smtplib.SMTP()
    #连接服务器,email是地址，25是SMTP端口号。
    qqmail.connect(email,25)
    #把录入的发件的账号 密码传入登录
    qqmail.login(account,password)
    #邮箱正文
    content= '今天的天气是：'+tem+weather+"\n"+clothes+"\n"+sun2+"\n"+hat
    # 实例化一个MIMEText邮件对象，写入邮件正文，文本格式和编码
    mess= MIMEText(content, 'plain', 'utf-8')
    subject = '今日天气预报'
    # 左边实例化一个Header邮件头对象，该对象需要写入两个参数，
    # 分别是邮件主题和编码，然后赋值给等号左边的变量mess['Subject']。
    mess['Subject'] = Header(subject, 'utf-8')
    try:
        qqmail.sendmail(account, receiver, mess.as_string())
        print ('邮件发送成功')
    except:
        print ('邮件发送失败')
    #退出    
    qqmail.quit()

  3. 定时

    schedule.every().day.at("07:00").do(job)  #每天7点执行一次任务
schedule.every().Tuesday.at("12:00").do(job) #每个星期二的12:00开始一次任务

  4. 完整代码

    # -*- coding: utf-8 -*-

import requests
import smtplib
import schedule
import time
from bs4 import BeautifulSoup
from email.mime.text import MIMEText
from email.header import Header

account = input(str('请输入你的邮箱:'))
password = input(str('请输入你的密码:'))
receiver = input(str('请输入收件人的邮箱:'))

headers={
    'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
}
def  weathers():
    #防止反爬,伪装成游览器请求头
    url='http://www.weather.com.cn/weather1d/101281905.shtml'
    res=requests.get(url,headers=headers)
    #打印返回状 态码200为成功
    #print(res.status_code)
    res.encoding='utf-8' #把获取到信息设置为utf-8

    #利用BeautifulSoup解析数据
    soup=BeautifulSoup(res.text,'html.parser')
    #找到需要的度数和天气状况的父标签
    wea1=soup.find('div',class_='t').find('ul',class_='clearfix')
    #找到需要的度数
    wea=wea1.find('p',class_='tem').text
    weather=wea1.find('p',class_='wea').text
    # print(wea)
    # print(weather)
    day= soup.find_all('div', class_='left-div')[3].find('ul', class_='clearfix')

    clothes = "\n" + "衣物:" + "\n" + day.find('li', id='chuanyi').find('a').text.strip()
    sun = day.find_all('li', class_='li1')
    sun2 = "\n" + "紫外线:" + "\n" + sun[1].text.strip() + "\n"
    #不宜
    not_suitable= day.find('li', class_='li4').text.strip()
    # print(sun2)
    # print(clothes)
    # print(not_suitable)
    return wea, weather, clothes, sun2, not_suitable

#发送邮件函数
def send_email(tem,weather,clothes,sun2,hat):
    # 把qq邮箱的服务器地址赋值到变量mailhost上
    email='smtp.qq.com'
    # 实例化一个smtplib模块里的SMTP类的对象
    qqmail = smtplib.SMTP()
    #连接服务器,email是地址，25是SMTP端口号。
    qqmail.connect(email,25)
    #把录入的发件的账号 密码传入登录
    qqmail.login(account,password)
    #邮箱正文
    content= '今天的天气是：'+tem+weather+"\n"+clothes+"\n"+sun2+"\n"+hat
    # 实例化一个MIMEText邮件对象，写入邮件正文，文本格式和编码
    mess= MIMEText(content, 'plain', 'utf-8')
    subject = '今日天气预报'
    # 左边实例化一个Header邮件头对象，该对象需要写入两个参数，
    # 分别是邮件主题和编码，然后赋值给等号左边的变量mess['Subject']。
    mess['Subject'] = Header(subject, 'utf-8')
    try:
        qqmail.sendmail(account, receiver, mess.as_string())
        print ('邮件发送成功')
    except:
        print ('邮件发送失败')
    #退出
    qqmail.quit()

#执行函数
def work():
    print('开始一次任务')
    #weather_spider()把爬虫参数返回的5个值分别赋值给右边的tem, weather, clothes, sun2, hat
    tem, weather, clothes, sun2, hat = weathers()
    #把获取到的值传进去发送邮箱函数里面
    send_email(tem,weather,clothes,sun2,hat)
    print('任务完成')

#什么时候运行
worktime=input(str('想要什么时候运行(每天的几点):'))
schedule.every().day.at(worktime).do(work)



'''
schedule是个定时器,在while True死循环中,
schedule.run_pending()是保持schedule一直运行,
去查询上面那一堆的任务,在任务中,就可以设置不同的时间去运行。
'''
while True:
    schedule.run_pending()
    time.sleep(1)

    image-20210323143459928

  5. 补充

    • 想要长久运行的最好放服务器里面

    • 这里记录下放服务器踩的坑 巨坑

    • 这个代码直接放服务器里面会报错

    • 这里顺便贴上当时找到的解决办法的博客连接

    • https://blog.csdn.net/mp624183768/article/details/105970608?utm_source=app&app_version=4.5.0

    • 所以放服务器的发送邮件的代码应该是

      def send_email(tem,weather,clothes,sun2,hat):
    smtp=smtplib.SMTP_SSL('smtp.qq.com')
    smtp.ehlo("smtp.qq.com")
    
    smtp.login(account,password)
    content= '今天的天气是:'+tem+weather+"\n"+clothes+"\n"+sun2+"\n"+hat
    message = MIMEText(content, 'plain', 'utf-8')
    subject = '今日天气预报'
    message['Subject'] = Header(subject, 'utf-8')
    try:
        smtp.sendmail(account, receiver, message.as_string())
        print ('邮件发送成功')
    except:
        print ('邮件发送失败')
    smtp.quit()

      3

      学会了可以发妹子啊

      1

    ​

    ​

longtxue
关注
  • 6
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
专栏目录
[Python爬虫]爬取天气预报，定时发送邮件
07-18
内容分三部分：1.爬取网上天气预报的信息；2.将该天气信息以邮件形式发送；3.定时执行前两部分内容。配有详细备注！
爬取天气信息并微信发送.py
10-18
通过爬虫获取天气信息，将微信登录，利用微信发送提示消息到好友
Java实战天气邮件推送
keke的博客
10-07 469
Java实现天气邮件推送
获取天气信息并发送到QQ邮箱
m0_61310685的博客
10-15 174
无
java 天气爬虫_spring Boot手把手教学(9): 实战练习-爬虫获取取天气信息并自动发邮件，出门不再忘记带伞...
weixin_35651612的博客
02-24 1322
1、前言❝ 前情回顾：❞本篇文章，在前几篇文章的基础上，我们实战练习；❝ 使用的知识点为：❞代码生成器，自动生成Controller、 Service、serviceImpl、entity、mapper和 mapper xml代码;定时任务，定时获取最新天气数据和定时自动发送天气预报邮件使用jsoup写爬虫爬取天气预报数据，并存入mysql;2、安装依赖❝ pom.xml❞org.jsoupjso...
配置域名访问Tomcat项目
longtxue
03-22 192
Tomcat配置域名访问网站 配置Tomcat访问端口的安全组 服务器Tomcat域名配置 利用远程工具连接服务器 进入到Tomcat的安装目录 在进入到conf目录 找到server.xml 修改Engine defaultHost=‘你的域名’ 修改host <Host name="你的域名" appBase="webapps" unpackWARs="true" autoDeploy="true"> 最后加一行(这
Python-定时爬取指定城市天气(一)-发送给关心的微信好友
11-26
定时拉取指定城市天气并发送给指定好友，资源讲解地址：https://www.cnblogs.com/swarmbees/p/10023491.html
爬取天气信息-可用小系统
05-07
该代码可以实现对天气的实时获取功能，可以根据IP地址获取当前位置天气情况，也可以根据输入城市获取当天天气状况。
详解python定时简单爬取网页新闻存入数据库并发送邮件
01-19
3、程序可以将爬取下来的数据发送到邮箱。 4、程序可以定时执行。 二、项目分析 1、爬虫部分利用requests库爬取html文本，再利用bs4中的BeaultifulSoup库来解析html文本，提取需要的内容。 2、使用pymysql库连接...
html天气预报代码_每天定时向邮箱发送天气预报
weixin_42298754的博客
01-20 2413
学习中，发现课件中有个小bug，温度没有全显示，如图代码修改后，如图：每天定时向邮箱发送天气预报代码：import requestsimport smtplibimport scheduleimport timefrom bs4 import BeautifulSoupfrom email.mime.text import MIMETextfrom email.header import Head...
python：用爬虫定时向邮箱发送天气预报
有学习问题可以加我qq群：785318982，群内有大佬免费答疑
01-24 1772
import requests import smtplib import schedule import time from bs4 import BeautifulSoup from email.mime.text import MIMEText from email.header import Header sender = input('请输入发送邮箱：') pwd = input('请输入密码：') recevier = input('请输入收件邮箱：') def get_weathe
Python简单程序爬取天气信息，定时以邮件发送给朋友
挪威的森林
02-06 2769
前段时间看到了这个博客。 https://blog.csdn.net/weixin_45081575/article/details/102886718。 他用了request模块，这不巧了么，正好我刚用过。 他有了smtp模块，这不巧了么，正好我刚用过。 定时发送邮件，这不巧了么，我不会 。 整体思路： Python语言封装了很多模块帮助你进行通信，所以写起来相对简单。、 1、https://d...
python爬虫插件XPath的安装
weixin_52890053的博客
04-25 299
小白也能懂的python插件XPath安装，简洁明了
2024最新版JavaScript逆向爬虫教程-------基础篇之深入JavaScript运行原理以及内存管理
Amo Xiang的博客
04-24 783
深入学习JavaScript运行原理以及JS内存管理，为后续函数，闭包，作用域的学习打下坚实基础。函数，闭包，作用域，this指向等问题在后续JS逆向的学习中非常重要，如果想要学好这些知识点，就必须先了解JavaScript的运行原理。
Python爬虫-BeautifulSoup解析
最新发布
weixin_53333436的博客
04-27 678
是一个用于解析 HTML 和 XML 文档的 Python 库。它提供了一种灵活且方便的方式来导航、搜索和修改树结构或标记文档。这个库非常适合网页抓取和数据提取任务，因为它允许你以非常直观的方式查询和操作文档内容。
Python网络爬虫之数美滑块的加密及轨迹分析
这家伙很懒，什么都没有留下
04-23 1331
数美滑块验证是一种基于行为生物识别技术的验证码，它通过分析用户的拖动轨迹、速度、加速度等参数来判断操作的真实性。与传统的字符验证码相比，数美滑块验证具有更高的安全性和用户体验。它采用了多种加密手段，使得传统的爬虫技术难以突破。在数美滑块验证中，关键参数如滑块ID、背景图片URL、验证接口等通常经过混淆和加密处理。这些参数在前端JS代码中动态生成，使得直接分析静态页面难以获取有效信息。此外，数美滑块验证还采用了JS代码动态执行的方式，即在运行时根据特定条件生成或修改代码，进一步增强了安全性。
Python 爬虫如何配置代理 IP （Py 采集）
打字爱好者。
04-19 526
Python中配置代理IP，可以通过设置requests库的proxies参数来实现。以下是一个示例：
Golang爬虫代理接入的技术与实践
Z_suger7的博客
04-26 535
在介绍Golang爬虫代理接入之前，我们先来简要了解一下Golang爬虫的基本步骤。制定爬虫目标：明确需要爬取的网站或数据来源。制定一个爬虫接口：设计爬虫的请求接口，包括URL、请求头等信息。发出HTTP请求，获取数据：使用Golang标准库中的net/http包发送HTTP请求，获取目标网站的数据。屏蔽无效请求：处理HTTP请求返回的状态码，过滤掉无效的请求，提高爬取效率。解析数据内容：使用HTML解析库（例如goquery）解析网页内容，提取需要的数据。
jupyter爬取天气信息，保存到excel中
07-08
要在Jupyter Notebook中爬取天气信息并保存到Excel中，你可以按照以下步骤进行操作： 1. 安装所需的库：确保你已经安装了requests、beautifulsoup4和pandas库。如果没有安装，可以使用以下命令进行安装： ``` !pip ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

longtxue

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值