Python3+Scrapy+Selenium腾讯企业邮箱的指定邮件读取功能

最新推荐文章于 2024-05-30 12:01:52 发布
最新推荐文章于 2024-05-30 12:01:52 发布
阅读量2.3k 收藏 4
点赞数 1
文章标签： python selenium xpath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pengshengege/article/details/106900134
版权

1.最近经理被邮件烦到了，可能是太多了，想着批量读取并将需要的数据处理好，传到他的接口去，无奈腾讯的js又多，又难，又绕~看不懂看不懂，手动狗头。于是准备使用selenium模拟浏览器的方式

2.由于需要每天定时爬取，所以这里使用的是scrapy框架，其实、、主要作用是为了定时方便才用的，直接发布就行了。之前有定时框架了，所以采用scrapy。不是定时的朋友直接用自己喜欢的方式就行了

3.先导入一些库，好像有些没用到。。反正是灰色的就去掉或者注释就行了~

import json
import re
import time

import requests
import scrapy
from django.http import request, HttpResponse
from lxml import etree
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver import ChromeOptions, DesiredCapabilities

4.以下是爬虫代码了，嗐，别喷我，写在start_requests里面方便一点。。。别问我为什么。。本人很懒。。但是给你们注释好~

5.这里有个坑，注意到上面的browser.switch_to.frame(“mainFrame”)，这里必须要跳到这个iframe，不然接下来的元素你找不到会报错，并且等待3秒钟也是必要的，不然也找不到.

class TEMAILSpider(scrapy.Spider):
    name = 'Temail'
    allowed_domains = []

    start_urls = []
    custom_settings = {'CONCURRENT_REQUESTS': '10', }#线程数~

    def chuliinfo(self, shuju):
        shuju = ''.join(shuju)
        shuju = shuju.replace('\n', '').replace(' ', '')
        return shuju

    def start_requests(self):
        option = ChromeOptions()
        option.add_experimental_option('excludeSwitches', ['enable-automation'])
        option.add_experimental_option('useAutomationExtension', False)
        # 这里开启无头，这样能快很多
        # option.add_argument('--headless')
        option.add_argument('--disable-gpu')
        # 这里是禁止加载提高速度
        # prefs = {

        #     'profile.default_content_setting_values': {
        #         'images': 2,#2这个状态是禁止加载图片
        # #         # 'javascript': 2
        #     }
        # }
        # option.add_experimental_option('prefs', prefs)
        # 谷歌浏览器
        desired_capabilities = DesiredCapabilities.CHROME
        desired_capabilities["pageLoadStrategy"] = "none"

        browser = webdriver.Chrome(options=option, desired_capabilities=desired_capabilities)
        browser.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument',
                                {'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'})

        browser.get("https://exmail.qq.com/login")  # get接受url可以是任何网址，此处以百度为例
        wait = WebDriverWait(browser, 30)
        element = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="loginForm"]/div[3]/div[3]/a[1]'))).click()  # 它的作用现在就是，等！！！！！！！
        input_user = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="inputuin"]'))).send_keys(
            '这里输入你的账号')  # 输入账号
        input_pwd = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="pp"]'))).send_keys('这里输入你的密码')  # 输入密码
        bt_login = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="btlogin"]'))).click()  # 点击登录按钮
        # 以下是收件箱的等待时间
        # time.sleep(6)
        folder = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="folder_1"]'))).click()  # 点击收件箱

        browser.switch_to.frame("mainFrame")
         # 定位 收件人
        time.sleep(3)

6.下面的代码可加可不加，可以直接选择你要的邮件页数跳转，否则就是从第一页开始，建议操作试试~

  #下面这一坨是跳转页数的
        maillistjump = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="maillistjump"]'))).click()  # 跳转
        jumppage = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="list"]/div[1]//input'))).send_keys(
            '10')  # 输入账号  # 跳转页数
        mljump = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="list"]/div[1]//a'))).click()  # 跳转按钮
        browser.switch_to.default_content()
        browser.switch_to.frame("mainFrame")
        time.sleep(3)

7.接下来就是重点的解析与循环了这可是其中的time.sleep把我坑哭了，哇哇的

  # print(len(email_list))
        for i in range(1000):
            if i != 0:
                browser.switch_to.frame("mainFrame")
                time.sleep(3)

            email_list = wait.until(EC.presence_of_all_elements_located((By.XPATH, '//*[@id="frm"]/div[2]/table')))  # 一页中所有的邮件
            # email_list1 = WebDriverWait(browser, 5).until(EC.presence_of_all_elements_located((By.XPATH, '//*[@id="frm"]/div[3]/table')))  # 另一种情况
            email_list1=browser.find_elements_by_xpath('//*[@id="frm"]/div[3]/table')
            # email_list = browser.find_elements_by_xpath('//*[@id="frm"]/div[2]/table')  # //tr/td[3]/table//tr/td[3]/div[1]/u
            # email_title =browser.find_element_by_xpath('//*[@id="frm"]/div[2]/table//tr/td[3]/table//tr/td[3]/div[1]/u').text
            for index1, email in enumerate(email_list):
                email_title = wait.until(EC.presence_of_element_located(
                    (By.XPATH, '//*[@id="frm"]/div[2]/table[{}]//tr/td[3]/table//tr/td[3]/div[1]/u'.format(index1 + 1)))).text
                if email_title == '邮件标题名':#这里你可以用xpath找一下就知道了~只打开你的邮件标题的邮件
                    print(email_title)
                    # totime=wait.until(EC.presence_of_element_located((By.XPATH,'//*[@id="frm"]/div[2]/table[{}]//tr/td[1]/input'.format(index1 + 1)))).get_attribute('totime')
                    emailinfo = wait.until(EC.presence_of_element_located((By.XPATH,'//*[@id="frm"]/div[2]/table[{}]//tr/td[3]/table//tr/td[3]/div[1]/u'.format(index1 + 1)))).click()
                    time.sleep(1)
                    backemail = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="mainmail"]/div[1]/div[2]/a[1]')))
                    html = browser.page_source
                    response = etree.HTML(html)
                    content = response.xpath('//*[@id="mailContentContainer"]//text()')  # 文本内容
                    Customer = content[1].replace(' ', '').replace('\n', '').replace('\xa0', '').replace("'", "").split('：')
                    blNo = content[2].replace(' ', '').replace('\n', '').replace('\xa0', '').replace("'", "").split('：')
                    portdis = content[3].replace(' ', '').replace('\n', '').replace('\xa0', '').replace("'", "").split('：')
                    containere = content[4].replace(' ', '').replace('\n', '').replace('\xa0', '').replace("'", "").split('：')
                    CustomerNo = Customer[-1]
                    BlNo = blNo[-1]
                    PortDis = portdis[-1]
                    Container_remake = containere[-1]
                    weituoinfo = {
                        "customerNumber": CustomerNo,
                        "shipmentNumber": BlNo,
                        "dischargingPort": PortDis,
                        "boxRemark": Container_remake
                    }
                    print(weituoinfo)
                    hea = {"Content-Type": "application/json"}#可以去掉
                    url = '传入接口的url'#可以去掉
                    response1 = requests.post(url, data=json.dumps(weituoinfo), headers=hea)#可以去掉
                    backemail.click()  # 点击返回
                    time.sleep(1)
                elif email_title == '邮件标题名':#这里你可以用xpath找一下就知道了~只打开你的邮件标题的邮件
                    print(email_title)
                    emailinfo = wait.until(EC.presence_of_element_located((By.XPATH,'//*[@id="frm"]/div[2]/table[{}]//tr/td[3]/table//tr/td[3]/div[1]/u'.format(index1 + 1)))).click()
                    time.sleep(1)
                    backemail = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="mainmail"]/div[1]/div[2]/a[1]')))
                    html = browser.page_source
                    response = etree.HTML(html)
                    content = response.xpath('//*[@id="mailContentContainer"]//text()')  # 文本内容
                    Customer = content[1].replace(' ', '').replace('\n', '').replace("'", "").replace('\xa0', '').split('：')
                    booking = content[2].replace(' ', '').replace('\n', '').replace("'", "").replace('\xa0', '').split('：')
                    blNo = content[3].replace(' ', '').replace('\n', '').replace("'", "").replace('\xa0', '').split('：')
                    portdis = content[4].replace(' ', '').replace('\n', '').replace("'", "").replace('\xa0', '').split('：')
                    containere = content[5].replace(' ', '').replace('\n', '').replace("'", "").replace('\xa0', '').split("：")
                    CustomerNo = Customer[-1]
                    Booking = booking[-1]
                    BlNo = blNo[-1]
                    PortDis = portdis[-1]
                    Container_remake = containere[-1]
                    shipbookinginfo = {
                        "customerNumber": CustomerNo,
                        "shipmentNumber":Booking,
                        "blno": BlNo,
                        "dischargingPort":PortDis,
                        "predistributionBox": Container_remake
                    }
                    print(shipbookinginfo)
                    backemail.click()  # 点击返回
                    time.sleep(1)
            if email_list1!=[]:
                for index1, email in enumerate(email_list):
                    email_title = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="frm"]/div[3]/table[{}]//tr/td[3]/table//tr/td[3]/div[1]/u'.format(index1 + 1)))).text
                    if email_title ==  '邮件标题名':#这里你可以用xpath找一下就知道了~只打开你的邮件标题的邮件
                        print(email_title)
                        # totime=wait.until(EC.presence_of_element_located((By.XPATH,'//*[@id="frm"]/div[2]/table[{}]//tr/td[1]/input'.format(index1 + 1)))).get_attribute('totime')
                        emailinfo = wait.until(EC.presence_of_element_located((By.XPATH,'//*[@id="frm"]/div[3]/table[{}]//tr/td[3]/table//tr/td[3]/div[1]/u'.format(index1 + 1)))).click()
                        time.sleep(1)
                        backemail = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="mainmail"]/div[1]/div[2]/a[1]')))
                        html = browser.page_source
                        response = etree.HTML(html)
                        content = response.xpath('//*[@id="mailContentContainer"]//text()')  # 文本内容
                        Customer = content[1].replace(' ', '').replace('\n', '').replace('\xa0', '').replace("'", "").split('：')
                        blNo = content[2].replace(' ', '').replace('\n', '').replace('\xa0', '').replace("'", "").split('：')
                        portdis = content[3].replace(' ', '').replace('\n', '').replace('\xa0', '').replace("'", "").split('：')
                        containere = content[4].replace(' ', '').replace('\n', '').replace('\xa0', '').replace("'", "").split('：')
                        CustomerNo = Customer[-1]
                        BlNo = blNo[-1]
                        PortDis = portdis[-1]
                        Container_remake = containere[-1]
                        weituoinfo = {
                            "customerNumber": CustomerNo,
                            "shipmentNumber": BlNo,
                            "dischargingPort": PortDis,
                            "boxRemark": Container_remake
                        }
                        print(weituoinfo)
                        backemail.click()  # 点击返回
                        time.sleep(1)
                    elif email_title ==  '邮件标题名':#这里你可以用xpath找一下就知道了~只打开你的邮件标题的邮件
                        print(email_title)
                        emailinfo = wait.until(EC.presence_of_element_located((By.XPATH,'//*[@id="frm"]/div[3]/table[{}]//tr/td[3]/table//tr/td[3]/div[1]/u'.format(index1 + 1)))).click()
                        time.sleep(1)
                        backemail = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="mainmail"]/div[1]/div[2]/a[1]')))
                        html = browser.page_source
                        response = etree.HTML(html)
                        content = response.xpath('//*[@id="mailContentContainer"]//text()')  # 文本内容
                        Customer = content[1].replace(' ', '').replace('\n', '').replace("'", "").replace('\xa0', '').split('：')
                        booking = content[2].replace(' ', '').replace('\n', '').replace("'", "").replace('\xa0', '').split('：')
                        blNo = content[3].replace(' ', '').replace('\n', '').replace("'", "").replace('\xa0', '').split('：')
                        portdis = content[4].replace(' ', '').replace('\n', '').replace("'", "").replace('\xa0', '').split('：')
                        containere = content[5].replace(' ', '').replace('\n', '').replace("'", "").replace('\xa0', '').split("：")
                        CustomerNo = Customer[-1]
                        Booking = booking[-1]
                        BlNo = blNo[-1]
                        PortDis = portdis[-1]
                        Container_remake = containere[-1]
                        shipbookinginfo = {
                            "customerNumber": CustomerNo,
                            "shipmentNumber":Booking,
                            "blno": BlNo,
                            "dischargingPort":PortDis,
                            "predistributionBox": Container_remake
                        }
                        print(shipbookinginfo)
                        backemail.click()  # 点击返回
                        time.sleep(1)

            next_pages = wait.until(EC.presence_of_element_located((By.ID, 'nextpage')))  # 翻页prevpage#nextpage
            next_pages.click()
            browser.switch_to.default_content()
            # browser.switch_to.frame("mainFrame")
            if next_pages == []:
                break

8.如果您还有不懂的可以私信我hhhhhhhhhh在线接单？？哈哈哈~

#运行这个来启动哟~
cmdline.execute("scrapy crawl Temail".split())
鹏神哥哥
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python_IMAP自动收取邮件脚本
FM黎明之前的博客
04-10 779
Python自动收取邮件脚本 文献: https://cloud.tencent.com/developer/section/1368355 功能: 收取腾讯企业邮箱邮件写入CSV文件 条件: 筛选固定期限与固定发件人/收件人 说明: 1.此脚本采用imaplib协议；不支持授权码登陆方式(163imap授权码)等,有想法的可以重构，收取邮件脚本大同小异，只不过是获取之后编码问题有点棘手，读者花费点时间精力根据不同的字段重写编码转换处即可实现最终功能。 2.没有写入excel是因为excel单元格内容不兼
python收取邮件(腾讯企业邮箱)
08-09 2411
记录下我用python登入腾讯企业邮箱收取邮件 一、要用python收取邮件先要会3个类 　　imaplib 用来收取邮件 　　　　imaplib 里面我们注意几个方法： 　　　　　　login使用明文密码识别客户端。该密码将被引用。 　　　　　　select选择一个邮箱。返回的数据是邮箱中的邮件计数（EXISTS响应）。默认邮箱是'INBOX'。如果设置了只读标志...
定时自动获取腾讯企微文档的cookie
最新发布
Sidney_chm的博客
05-30 899
在日常办公场景中，腾讯文档因其协同编辑的优势而广受青睐，但如何通过编程手段高效提取文档内容成为了一项普遍需求。遗憾的是，腾讯文档目前并未开放接口直接读取用户自建文档，而可供API调用生成的文档，虽支持读取，却不支持人工编辑，实用性大打折扣，陷入了两难境地。 为破解这一困局，探索利用爬虫技术成为了一条可行之路。在这场技术挑战中，核心秘钥非Cookie莫属，它如同开启信息宝库的钥匙，然而腾讯文档的Cookie有效期仅为一周左右，如何自动化地刷新并获取这一"时效宝藏"，成为了攻克这一难题的重中之重。
浙大邮箱添加进apple_如何在Apple Mail中使用智能邮箱组织电子邮件
cum44153的博客
09-23 2636
浙大邮箱添加进appleOne of the more intriguing features of Apple Mail issmart mailboxes, which collate your mail according to a predetermined set of rules. You mail doesn’t actually get moved to these smart ...
sleep期间读取所有_Python3+Scrapy+Selenium腾讯企业邮箱的指定邮件读取功能
weixin_39964660的博客
12-18 1449
1.最近经理被邮件烦到了，可能是太多了，想着批量读取并将需要的数据处理好，传到他的接口去~无奈腾讯的js又多，又难，又绕~看不懂看不懂，手动狗头。于是准备使用selenium模拟浏览器的方式2.由于需要每天定时爬取，所以这里使用的是scrapy框架，其实、、主要作用是为了定时方便才用的，直接发布就行了。之前有定时框架了，所以采用scrapy。不是定时的朋友直接用自己喜欢的方式就行了3.先导入一些库...
chrome 模拟点击_【最新】python 爬虫淘宝模拟登陆方法（seleium+pyautogui）有效绕过屏蔽...
weixin_39942492的博客
11-22 763
python 爬虫淘宝模拟登录https://www.zhihu.com/video/11060082634092298241.起 最近重新使用以前写的selenium模拟登陆，登陆淘宝发现出现了问题。在网上搜索了一番大多数都说是淘宝会检测window.navigator.webdriver。当使用selenium打开时会被设置为True，而普通模式下则是undefined。实验如下图1 手动打开...
【Python3脚本】导出个人腾讯企业邮箱的全部邮件并保存成eml
黄旺鑫
04-05 1244
一键导出个人企业邮箱的邮件
毕业设计 Python源代码+开发文档说明 火车票分析助手的程序
03-16
3. **文件操作**：项目中可能涉及读取和写入数据文件，例如CSV或JSON格式，这通常通过Python内置的csv或json模块实现。此外，源代码可能还包括存储和加载模型（pickle模块）或者数据库操作（如SQLite，使用sqlite3库...
Python爬取同花顺每日股票公告信息实例
12-04
同时，为了存储抓取到的数据，你可以使用Scrapy的Item Pipeline功能，将其保存到文件、数据库或其他持久化存储中。 最后，运行Scrapy爬虫，可以使用`scrapy crawl stock`命令。这样，我们就完成了从同花顺网站抓取...
python自动评价器.rar
01-08
这涉及到Python编程、Web自动化工具Selenium以及数据处理库Pandas或openpyxl。 首先，Selenium是一个用于Web应用程序测试的框架，它允许开发者模拟真实用户在浏览器上的操作。在这里，Selenium可能被用来自动浏览...
python商品销售数据分析可视化系统
02-07
这个系统集成了数据获取、处理、分析和展示等多个环节，充分体现了Python在数据科学领域的强大功能。 首先，系统中包含了Python爬虫程序，这是数据收集的关键部分。Python爬虫利用了requests库来发送HTTP请求，获取...
python3使用腾讯企业邮箱发送邮件的实例
01-01
1.腾讯企业邮箱SMTP服务器地址：smtp.exmail.qq.com，ssl端口为：465 2.确保腾讯企业邮箱中开启了SMTP服务： 3.示例代码： #!/usr/bin/env python3 # -*- coding: utf-8 -*- import smtplib from email.mime.text import MIMEText from email.utils import formataddr # 发件人邮箱账号 my_sender='xx@xxx.com' # user登录邮箱的用户名，password登录邮箱的密码（授权码，即客户端密码，非网页版登录密码），但
Python_Lib:使用 Python 库的代码记录
04-29
在Python编程语言中，库（Library）是程序员创建的可重用代码集合，它们提供了丰富的功能，可以帮助我们更高效地开发应用程序。"Python_Lib:使用 Python 库的代码记录"是一个存储了作者使用过的Python库及其应用示例...
Python程序 用于批量下载腾讯企业邮箱中的邮件
siberiaWarpDrive的博客
03-05 677
通过某种API强制修改离职用户的邮箱密码，然后调用这个程序多进程下载邮件信息到存储文件夹。由于企业抠门，导致无法备份企业箱中的邮件，因此只能采用这种效率低的方式进行备份。
python 读取QQ邮件内容
Little Snow White
04-09 7196
输出结果： 代码： ## -*- coding: utf-8 -*- from email.parser import Parser from email.header import decode_header from email.utils import parseaddr import poplib # 输入邮件地址, 口令和POP3服务器地址: email = '812721863@...
python自动读取邮件_python 读取邮件
weixin_39849070的博客
11-28 293
读取邮件向imaplib 传递一个消息ID的列表。为了提取的是邮箱的主题，将字符串(BODY[HEADER.FIELDS(SUBJECT)]) 作为参数传递给imaplib1 from imaplib importIMAP423 classSubjectLister(IMAP4):4 def __init__(self, server, username, password):5 ...
利用百度搜索结果爬取邮箱
JasonStudy
12-24 2030

 帮同学做一个关于爬取教授邮箱的任务，在百度搜索中输入教授的名字+长江学者+邮箱，爬取并筛选每个教授的邮箱，最后把邮箱信息写入到Excel表中：--爬取结果争取率大概在50%-60% 大致思路如下： 先利用百度搜索关键词（不断转换关键词，效果会不一样） 利用BeautifulSoup解析到百度搜索的html内容，找到主要的部分 写正则表达式，注意要过滤掉qq邮箱、...
Python——selenium自动点击下载腾讯文档
Deathless_Dawn的博客
10-02 2118
成功属于有准备的人 腾讯文档使用selenium方法点击下载，早前写的，现下网页格局可能有所改变。 代码基本都有注释。 那时刚入坑不久，代码不好看还望见谅。 from bs4 import BeautifulSoup from selenium import webdriver import traceback import time import numpy from selenium.webdriver.common.action_chains import ActionChains # 登录网站 d
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值