- 博客(6)
- 收藏
- 关注
RSS订阅原创 多协程抓取薄荷网食物热量 下篇
如题from gevent import monkeymonkey.patch_allimport gevent,requests,openpyxl,timefrom gevent.queue import Queuefrom bs4 import BeautifulSoupstart=time.time()headers={‘User-Agent’:‘Mozilla/5.0 (W...
2019-09-23 21:34:39
338
原创 多协程抓取薄荷网食物热量上篇
如题`from gevent import monkeymonkey.patch_allimport gevent,requests,csv,timefrom gevent.queue import Queuefrom bs4 import BeautifulSoupstart=time.time()headers={ 'User-Agent':'Mozilla/5....
2019-09-23 21:32:36
358
原创 基于python分别采用同步与异步（协程）的方式抓取时光网TOP100电影
如题，同步运行就是python按照代码逐一运行，如向服务器发送请求，前一个请求得到回应后，才会发起后一个请求，而异步可以在前一个请求在等待回应的时候，就可以发起后一个请求，甚至后两个请求，等到第一个请求得到响应后再回来处理，即可以在多个任务之间来回切换运行，这样就提高了python跑程序的效率，如任务量大，抓取网页多，可能会缩短大量时间。但是，这两种运行方式有一个共同点，那就是同一时刻只能执行一个...
2019-09-22 08:41:05
403
转载 学爬虫必须掌握的Python基础
入手爬虫确实不要求你精通Python编程，但基础知识还是不能忽视的，那么我们需要哪些Python基础呢？首先我们先来看看一个最简单的爬虫流程：第一步要确定爬取页面的链接，由于我们通常爬取的内容不止一页，所以要注意看看翻页、关键字变化时链接的变化，有时候甚至要考虑到日期；另外还需要主要网页是静态、动态加载的。第二步请求资源，这个难度不大，主要是Urllib,Request两个库的使用，必要时...
2019-09-21 21:11:45
124
原创 python自动抓取某网站食谱，并以excel文件的形式通过邮箱定时发送信息
python自动抓取某网站食谱，并以excel文件的形式通过邮箱定时发送信息如题，本项目运用了requests，BeautifuSoup 库抓取数据，openpyxl库本地储存数据，email库各种模块设计并组成邮件，smtplib库第三方发送邮件，schedule库实现定时执行任务。代码如下：import requestsimport openpyxlfrom bs4 import B...
2019-09-19 22:28:37
403
原创 关于python的smtplib库调用QQ邮箱服务器'smtp.qq.com'发送邮件的一些问题及解决
关于python的smtplib库调用QQ邮箱服务器'smtp.qq.com'发送邮件的一些问题及思考1.运行成功的代码与测试效果2.结论1.运行成功的代码与测试效果首先展示一下使用SMTP发送QQ邮件的代码，如下所示：import smtplibfrom email.mime.text import MIMEText #邮件正文文本from email.mime.multipart i...
2019-09-19 11:16:27
3593
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人