- 博客(4)
- 收藏
- 关注
RSS订阅原创 python3.6爬取凤凰网新闻-爬虫框架式思维
一、序言 先前几篇爬虫的代码，是简单的脚本代码。在爬取小网页觉得挺简单、高效，但涉及复杂网页的时候，就要考虑成熟的爬虫框架与分布式。本篇博客作为无框架式爬虫和有框架式爬虫的一个过渡，介绍具有框架式思维的爬虫^_^。二、框架结构图 通常爬虫分为五个部分，分别为：爬虫调度器、URL管理器、网页下载器、网页解析器与数据存储器。各部分的作用如下：爬虫框架模块作用说明模块名称作用...
2018-04-29 17:26:02
5079
2
原创 python3批量发送邮件
这次介绍运用python3批量发送邮件。使用这个功能，我们可以在爬虫中将程序遇到的问题发送到指定邮件，以便及时处理断掉的爬虫。在python中对发送邮件协议STMP的支持有两个模块：smtplib和email两个模块，前者负责发送邮件，后者负责构造邮件。为实现这个功能，我们首先需要两个邮箱，笔者使用网易163邮箱发送，qq邮箱接收。开始之前需要先对网易邮箱进行设置，开通SMTP服务，具体操作见下图...
2018-04-29 10:00:20
5272
2
原创 python3.6爬虫案例：爬取某网站所有PPT（下）。
上篇博客：python3.6爬虫案例：爬取某网站所有PPT（上）给大家介绍了爬取（http://www.1ppt.com/）网站中的ppt文件，爬下来的文件如下：所以，我们就要考虑将其名称修改为其在网页中显示的名字，并将其批量解压到指定文件夹。一、批量修改压缩文件名称。细心的伙伴可以从上图发现，压缩文件的格式不同有zip、rar两种格式，所以我们需要分别处理，在后续的批量解压文件中需要不同的pyt...
2018-04-15 10:21:53
7352
原创 python3.6爬虫案例：爬取某网站所有PPT（上）。
写在前面 这次实现之前的flag：爬取第一ppt网站的所有PPT，当然网站中有其他很多的学习资料，这次只爬取PPT。不仅可以平时做模板演示用，还可以练习爬虫，岂不美滋滋。闲话不多说，进入正题。 先来说下网站（http://www.1ppt.com/）特点，该网站的结构很清晰，但是网站中的链接如果取下来是不能直接输入浏览器访问的，即：防盗链，这带来了不少额外的工作量....
2018-04-12 20:34:15
23631
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人