python
不懂就问问
邹sssssss写代码的地方
展开
-
python自动抓取某网站食谱,并以excel文件的形式通过邮箱定时发送信息
python自动抓取某网站食谱,并以excel文件的形式通过邮箱定时发送信息如题,本项目运用了requests,BeautifuSoup 库抓取数据,openpyxl库本地储存数据,email库各种模块设计并组成邮件,smtplib库第三方发送邮件,schedule库实现定时执行任务。代码如下:import requestsimport openpyxlfrom bs4 import B...原创 2019-09-19 22:28:37 · 414 阅读 · 0 评论 -
关于python的smtplib库调用QQ邮箱服务器'smtp.qq.com'发送邮件的一些问题及解决
关于python的smtplib库调用QQ邮箱服务器'smtp.qq.com'发送邮件的一些问题及思考1.运行成功的代码与测试效果2.结论1.运行成功的代码与测试效果首先展示一下使用SMTP发送QQ邮件的代码,如下所示:import smtplibfrom email.mime.text import MIMEText #邮件正文文本from email.mime.multipart i...原创 2019-09-19 11:16:27 · 3661 阅读 · 0 评论 -
学爬虫必须掌握的Python基础
入手爬虫确实不要求你精通Python编程,但基础知识还是不能忽视的,那么我们需要哪些Python基础呢?首先我们先来看看一个最简单的爬虫流程:第一步要确定爬取页面的链接,由于我们通常爬取的内容不止一页,所以要注意看看翻页、关键字变化时链接的变化,有时候甚至要考虑到日期;另外还需要主要网页是静态、动态加载的。第二步请求资源,这个难度不大,主要是Urllib,Request两个库的使用,必要时...转载 2019-09-21 21:11:45 · 129 阅读 · 0 评论 -
基于python分别采用同步与异步(协程)的方式抓取时光网TOP100电影
如题,同步运行就是python按照代码逐一运行,如向服务器发送请求,前一个请求得到回应后,才会发起后一个请求,而异步可以在前一个请求在等待回应的时候,就可以发起后一个请求,甚至后两个请求,等到第一个请求得到响应后再回来处理,即可以在多个任务之间来回切换运行,这样就提高了python跑程序的效率,如任务量大,抓取网页多,可能会缩短大量时间。但是,这两种运行方式有一个共同点,那就是同一时刻只能执行一个...原创 2019-09-22 08:41:05 · 409 阅读 · 0 评论 -
多协程抓取薄荷网食物热量上篇
如题`from gevent import monkeymonkey.patch_allimport gevent,requests,csv,timefrom gevent.queue import Queuefrom bs4 import BeautifulSoupstart=time.time()headers={ 'User-Agent':'Mozilla/5....原创 2019-09-23 21:32:36 · 392 阅读 · 0 评论 -
多协程抓取薄荷网食物热量 下篇
如题from gevent import monkeymonkey.patch_allimport gevent,requests,openpyxl,timefrom gevent.queue import Queuefrom bs4 import BeautifulSoupstart=time.time()headers={‘User-Agent’:‘Mozilla/5.0 (W...原创 2019-09-23 21:34:39 · 374 阅读 · 0 评论