Python爬取糗事百科段子+定时发送QQ邮箱

于 2020-07-25 20:53:01 发布
阅读量769 收藏 3
点赞数
分类专栏： python爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44690947/article/details/107579818
版权

文章目录

前言

学习Python爬虫也有段时间了，总想着搞点事做，但又不知道做啥。不知道什么时候突然就想到爬几个段子，然后加个定时发送（QQ邮箱），无聊时乐一乐，岂不快哉！（小白一枚，大佬请绕过！）

1. 库导入及介绍

工欲善其事，必先利其器！首先导入本次所需要的库或类，如下

"""
Python爬取糗事百科段子+定时实现QQ邮箱推送
"""

import requests
from pyquery import PyQuery as pq
from email.message import Message
import smtplib
from threading import Timer

这里导入的库（类）有：requests库，requests库是一个第三方强大的网页请求库，爬虫的小伙伴应该都不陌生；pyquery，也是一个第三方库，它的作用是将爬来的网页进行解析并提取需要的信息，当然像这样的库还有Xpath，Beautiful Soup；email库和smtplib库，一般一起使用，email初始化邮件的一些基本信息，smtplib实现连接和发送邮件；Timer类，timer中文名定时器，通过调用它可以实现定时任务的执行。

其中，第三方库都需要安装。上面的requests和pyquery都需要提前安装好，而其他三个是python自带的不需要安装，直接导入就行了

2. 获取网页源码

需要的库都导入了，接下来就是获取网页源码了，爬取的网址是：https://www.qiushibaike.com/text/
代码如下

def get_html():
    #获取网页源码
    
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
           'cookie':'''_xsrf=2|793c6b4c|7dcbcb41525a269bc7497fee14c71df5|1595344183; __guid=157526588.3254422318539862000.1595344188923.262; Hm_lvt_2670efbdd59c7e3ed3749b458cafaa37=1595344189; gr_user_id=aa2e65e5-8ce5-488c-a6f6-7d2c21739617; ff2672c245bd193c6261e9ab2cd35865_gr_session_id=20c7152a-ee46-43ba-906a-a77a478d33df; _ga=GA1.2.751671251.1595344189; _gid=GA1.2.1094547349.1595344189; _qqq_uuid_="2|1:0|10:1595344184|10:_qqq_uuid_|56:Yjc0NTliMTI2YWIzYWMxOTcxYzZlZmRmZWNkMDU3NWU2ZmI2MTRhNg==|16783d46424ea29e24d2b1fe1b87c5262fec1c9cbc2292555e4571627de696c7"; ff2672c245bd193c6261e9ab2cd35865_gr_session_id_20c7152a-ee46-43ba-906a-a77a478d33df=true; grwng_uid=63b498f9-bb3f-4e85-a173-c1554639dc7c; __cur_art_index=4700; monitor_count=9; Hm_lpvt_2670efbdd59c7e3ed3749b458cafaa37=1595344490'''
        }

    html = requests.get('https://www.qiushibaike.com/text/page/3/', headers=headers)
    if html.status_code == 200:
        print("网页获取成功...")
        return html.text
    else:
        print("网页获取失败...")

html = get_html()
print(html)

值得一提的是这里必须添加User-Agent，它在这里的作用是伪造一个请求头里的User-Aagent，好让服务器响应（来自百度百科：User Agent中文名为用户代理，是Http协议中的一部分，属于头域的组成部分，User Agent也简称UA。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。通过这个标识，用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计。）。

其次，这里要添加的还有cookie，它的作用是保持会话状态；有了User-Agent和cookie，这样就能获取到包含有热门话题信息的源码了，不然是无法获取有效源码的。

这里涉及了cookie和User-Agent的获取，详情可以参考这篇文章：
https://blog.csdn.net/qq_44690947/article/details/107469871

结果如下
在这里插入图片描述

3. 提取需要的信息

这个步骤主要是从爬下来的网页中提取段子的正文信息。首先来确定一下段子在源码的哪个标签里，如下
在这里插入图片描述

通过上图可以看到段子内容在class=’content‘的标签里，接下来直接用选择content，再调用text()就可以获取段子内容了，如下

def get_html_text():
    #提前段子正文信息
    
    html = get_html()
    
    #初始化html
    doc = pq(html)
    
    #选择出段子所在的节点并使用items方法，使节点可遍历
    content = doc('.content')
    items = content.items()

    #使用text()提前段子正文，并添加到列表count中
    text = []
    for item in items:
        text.append(item.text())
    return text

text = get_html_text()
print(text)

结果如下
在这里插入图片描述

4. 优化输出数据

这里主要对段子的输出格式进行优化，使其更具有可读性，如下

def deal_print_data():
    #优化输出
    
    text = get_html_text()
    
    #给段子加上标号
    data = []
    for i in text:
        index = text.index(i)
        st = str(index+1) + ' ' + i
        data.append(st)
    
    #因为获取的有25个段子，这里取前15个
    data = data[:16]
    
    #在段子末尾加一些句子
    data.append('\n\t\t----------看完了就早点睡觉吧，晚安喽！----------')
    
    #因为下面需要使用str类型的字符串，因此用.join方法将text列表用换行符进行分割
    finally_data = "\n".join(data)
    
    return finally_data

data = deal_print_data()
print(data)

效果如下
在这里插入图片描述

5. 发送邮件

直接上代码

def send_email():
    #发送邮件
    
    data = deal_print_data()#data为要发送的信息
    
    sender = '3512919120@qq.com'#发送者邮箱
    password = '你的邮箱授权码'#授权码
    receiver = '3512919120@qq.com'#接收者邮箱
    
    #创建一个邮件对象
    msg = Message()
    
    # 邮件标题
    msg['Subject'] = '睡前笑一笑，烦恼都去掉!'
    
    # 邮件发送者
    msg['From'] = sender
    
    # 邮件接受者
    msg['To'] = receiver

    # 邮件正文
    msg.set_payload(data,'utf-8')
    
    try:
        #smtp.xxx.com为邮箱服务类型，465是qq邮箱服务器的端口号
        smtp = smtplib.SMTP_SSL('smtp.qq.com', 465)
        #登录
        smtp.login(sender, password)
        #发送
        smtp.sendmail(sender, receiver, msg.as_string())
        smtp.quit()
        print("发送成功...")
    except:
        print("有bug噢！")

send_email()

这里涉及到qq邮箱授权码的获取，步骤如下
在这里插入图片描述
在这里插入图片描述

如果上面都没问题的话，会收到邮箱，内容如下
在这里插入图片描述

6. 实现定时发送

要实现定时推送其实很简单，如下

def run_task():
    #定时发送
    
    send_email()
    
    #每隔3600秒后执run_tast()函数，即发生邮件
    t = Timer(3600, run_task)
    t.start()

rin_task()

其中时间间隔可以自己设置，我这里设置的是一个小时，即3600秒。运行程序后每隔一个小时就会收到一封主题为“睡前笑一笑，烦恼都去掉!”邮件。到此，我们就实现了段子爬取到定时发送的全部功能了。注意：程序运行期间不能关闭电脑！

看完后如果有哪里不理解，可以参考以下文章：

7. 源码

"""
Python爬取糗事百科段子+定时实现QQ邮箱推送
"""

import requests
from pyquery import PyQuery as pq
from email.message import Message
import smtplib
from threading import Timer

def get_html():
    #获取网页源码
    
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
           'cookie':'''_xsrf=2|793c6b4c|7dcbcb41525a269bc7497fee14c71df5|1595344183; __guid=157526588.3254422318539862000.1595344188923.262; Hm_lvt_2670efbdd59c7e3ed3749b458cafaa37=1595344189; gr_user_id=aa2e65e5-8ce5-488c-a6f6-7d2c21739617; ff2672c245bd193c6261e9ab2cd35865_gr_session_id=20c7152a-ee46-43ba-906a-a77a478d33df; _ga=GA1.2.751671251.1595344189; _gid=GA1.2.1094547349.1595344189; _qqq_uuid_="2|1:0|10:1595344184|10:_qqq_uuid_|56:Yjc0NTliMTI2YWIzYWMxOTcxYzZlZmRmZWNkMDU3NWU2ZmI2MTRhNg==|16783d46424ea29e24d2b1fe1b87c5262fec1c9cbc2292555e4571627de696c7"; ff2672c245bd193c6261e9ab2cd35865_gr_session_id_20c7152a-ee46-43ba-906a-a77a478d33df=true; grwng_uid=63b498f9-bb3f-4e85-a173-c1554639dc7c; __cur_art_index=4700; monitor_count=9; Hm_lpvt_2670efbdd59c7e3ed3749b458cafaa37=1595344490'''
        }

    html = requests.get('https://www.qiushibaike.com/text/page/3/', headers=headers)
    if html.status_code == 200:
        print("网页获取成功...")
        return html.text
    else:
        print("网页获取失败...")

def get_html_text():
    #提前段子正文信息
    
    html = get_html()
    
    #初始化html
    doc = pq(html)
    
    #选择出段子所在的节点并使用items方法，使节点可遍历
    content = doc('.content')
    items = content.items()

    #使用text()提前段子正文，并添加到列表count中
    text = []
    for item in items:
        text.append(item.text())
    return text

def deal_print_data():
    #优化输出
    
    text = get_html_text()
    
    #给段子加上标号
    data = []
    for i in text:
        index = text.index(i)
        st = str(index+1) + ' ' + i
        data.append(st)
    
    #因为获取的有25个段子，这里取前15个
    data = data[:16]
    
    #在段子末尾加一些句子
    data.append('\n\t\t----------看完了就早点睡觉吧，晚安喽！----------')
    
    #因为下面需要使用str类型的字符串，因此用.join方法将text列表用换行符进行分割
    finally_data = "\n".join(data)
    
    return finally_data        
  


def send_email():
    #发送邮件
    
    data = deal_print_data()#data为要发送的信息
    
    sender = '3512919120@qq.com'#发送者邮箱
    password = '你的qq邮箱授权码'#授权码
    receiver = '3512919120@qq.com'#接收者邮箱
    
    #创建一个邮件对象
    msg = Message()
    
    # 邮件标题
    msg['Subject'] = '睡前笑一笑，烦恼都去掉!'
    
    # 邮件发送者
    msg['From'] = sender
    
    # 邮件接受者
    msg['To'] = receiver

    # 邮件正文
    msg.set_payload(data,'utf-8')
    
    try:
        #smtp.xxx.com为邮箱服务类型，25为STMP的端口
        smtp = smtplib.SMTP_SSL('smtp.qq.com', 465)
        #登录
        smtp.login(sender, password)
        #发送
        smtp.sendmail(sender, receiver, msg.as_string())
        smtp.quit()
        print("发送成功...")
    except:
        print("有bug噢！")

   
def run_task():
    #定时发送
    
    send_email()
    
    #每隔3600秒后执run_tast()函数，即发生邮件;其中时间间隔可自己设置
    t = Timer(3600, run_task)
    t.start()

if __name__ == '__main__':
    run_task()

如果有帮助到你的话，就点个赞吧！

搬砖，攒路费
关注
专栏目录
糗事百科爬虫_by Akang.zip
08-14
刚学没多久的python实战，最终选定的是糗事百科网站，爬取前13页的内容（可更改），具体效果图可以看我发的贴子教程，欢迎大家来讨论经验
糗事百科爬虫
nlrkbqndrhh的博客
11-28 180
import requests import re def parse_url(url): headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36' ...
爬虫糗事百科
qq_42477586的博客
10-25 223
import csv import codecs from urllib import parse from urllib import request from lxml import etree def Spider(url,startPage,endPage,name): siteName='糗事百科' for page in range(startPage,endPage...
糗事百科全站爬虫
ljj123zz的博客
10-19 1012
之前看到有人写糗事百科的爬虫，就爬了几个页面，感觉太少，一个专业的段子手怎么能忍； 本文中使用多进程加多线程，段子用户id保存至redis数据库，用户数据及段子内容存储至mongodb； 本人自己的代理池前段时间没了，这里用的是阿布云代理，说的是每秒支持并行5个代理，其实没有这么多，买了三个账号连续爬一天，总共爬到30多万个用户数据，段子200多万个 阿布云账号一小时一块钱 数据库：
玩转python爬虫之爬取糗事百科段子
09-21
【Python爬虫实战：爬取糗事百科段子】 Python爬虫是一种强大的工具，用于自动抓取网页数据。在这个教程中，我们将学习如何使用Python爬取糗事百科上的热门段子，包括发布日期、发布人、段子内容和点赞数，并过滤掉...
python爬虫爬取糗事百科内容
11-17
糗事百科的爬虫，是主要用来介绍爬虫的一些基本知识，方便大家爬取简单的糗事百科的内容，利用的是beautifulsoup
Python爬虫爬取糗事百科段子实例分享
12-17
那么这次为大家带来，Python爬取糗事百科的小段子的例子。 首先，糗事百科大家都听说过吧？糗友们发的搞笑的段子一抓一大把，这次我们尝试一下用爬虫把他们抓取下来。 本篇目标 1.抓取糗事百科热门段子； 2.过滤带...
利用python爬取糗百段子
03-21
在这个案例中，我们将讨论如何使用Python来爬取“糗百”网站的段子，这是一个流行的中文幽默社区。首先，我们需要理解爬虫的基本原理以及如何结合正则表达式（RegEx）和BeautifulSoup库来实现这一目标。 Python爬虫...
一个糗事百科的简单爬虫
Sen的专栏
09-05 793
相比之前写 #coding=utf-8 import requests; import sqlite3; from bs4 import BeautifulSoup as bs; class QBSpider: def __init__(self, connectedDb, tableName): self.setDb(connectedDb);
[python3]糗事百科爬虫【1】
一只菜鸟
06-22 317
[python3]糗事百科爬虫【1】案例背景第一步第二步第三步完整代码如下：爬虫结果结尾： 案例背景 糗事百科，我们想要python爬虫。爬什么呢？ 爬取每个段子的作者名称、头像、性别、年龄、段子内容。 因为是多页的且我是新手，所以我们先从第一页开始做起low版搞起，后面再抽象方法高级版 本次要求：针对第一页，爬取每个段子的作者名称、头像、性别、年龄、段子内容。然后保存到excel中 https://www.qiushibaike.com/hot/page/1/ 第一步 导入库 #coding=utf-8
【爬虫练手】糗事百科
wyh33200的博客
05-08 206
from lxml import etree import requests headers={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36' } def requests_...
【Python3.6】糗事百科爬虫
AI-Echo的博客
09-14 307
代码链接：https://gitee.com/AI-Echo/codes/kox2aqn4jwi8c6b70l91e25糗百段子在这样的div标签中， #!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Spyder EditorThis is a temporary script file. """ import requests from bs
糗事百科_爬虫_案例
fengfriend_leo的专栏
08-01 330
import requests from lxml import etree import json class QiubaiSpider: def __init__(self): self.url_temp="https://www.qiushibaike.com/8hr/page/{}/" self.headers = {"User-Agent": ...
一个爬取糗事百科段子的简单爬虫
bradzhou的博客
01-26 674
# -*- coding:utf-8 -*- import requests from bs4 import BeautifulSoup from itertools import izip import time #伪装成浏览器 user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' headers = {'User-Agen
初入爬虫学习之糗事百科爬虫
小姑仔的博客
07-21 191
查看向百度网址发送请求对应的请求头 其中Remote Address记录远程百度服务器的主机地址 返回的数据为response，在浏览器中的Response中可以查看到相应的内容(返回的内容为html+css+javascript) 浏览器的作用：发送请求，接受相应结果并返回页面，get没有请求体，post才有请求体。 爬虫使用python语言编写一个应用程序：“替代浏览器发请求，接受响应” 关注重要的内容user-agent （1）发送请求： url = 'https://www.baidu.com/
python糗事百科爬虫
林小默
11-20 529
周末没啥事花了几个钟写了这个爬虫。下面是结构图。里面的功能已经足以帮我很好的分析糗事百科这个网站了。当然我知道别人也写过糗事百科的爬虫，不得不承认糗事百科的网页架构很简单，很适合作为爬虫初学者去练手。我是在没有任何参考的情况下一点点摸索写完这个爬虫的，也许并不上资深程序员写的，但也学到了很多废话少说，下面我就举几个例子来感受下我写的爬虫吧。1.分析用户用户主页： 代码：qiushi = QiuSh
Python-爬虫——爬取糗事百科上面的段子（适用于有Python基础）
番茄炒蛋不要蛋
03-17 2441
       Python语言在最近几年之间发展迅猛，比较喜欢用Python来写一些爬虫。Python爬虫因为有极其丰富和功能强大的库在爬虫领域占据领导地位，以下的文章将以一个新手的姿态来记录下用Python写爬虫的历程，也可以为想学习爬虫的人提供一个简单的教程。 1，分析糗事百科的网页源代码。 2，构建提取相应的正则表达式。 3，写出算法来提取相应内容。 4，遇到的一些问题和小窍门。   对于糗...
糗事百科爬虫Code
Diriers的博客
08-30 285
糗事百科爬虫 爬取糗事百科的网页并提取数据保存为json格式 -工具: -python class QiuShi(object): def __init__(self): self.url = 'https://www.qiushibaike.com/8hr/page/{}' self.url_page = 'https://www.qiushibaike.com' ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值