教大家来使用Python——looter来制作速度又快效率又高的网络爬虫

最近的几年里，网上的爬虫教程日益增多，从urllib开始，到requests和selenium的这类高级库，实际上，我们有很多的可能都用不到，所以不用这么费心费力地去了解那么多你可能用不到的东西。学习爬虫也就是：发起请求——解析数据——存储数据，这样就可以把简单的爬虫给写出来了。所以我教你用——looter来写一个又高效又快速的爬虫。

安装

只支持Python3.6及以上版本。

快速开始

我们先来做一个简单的爬虫来爬取图片：首先，要用shell获取网站

然后再用俩行代码来把图片抓取保存到本地

也可以只用1行代码:d

工作流

如果你想要快速的制作一个爬虫，我教你一个方法，使用looter提供的模板来自动生成一个

在这一行代码里面，tmpl是模板，分别是data和image这两种模板。

async是用来备用的，因为它可以把生成爬虫的核心变成asyncio而不是线程池。

在生成的模板里面，你可以自己来定义domain和tasklist这两个变量。

什么是tasklist？它就是你要爬取页面里面的所有的链接。

以http://konachan.com为例，你可以使用列表推导式来创建自己的tasklist：

然后你就要定制属于你自己的crawl函数，也就是爬虫的核心部分。

在很多情况里，你想要抓取的内容是一个列表（也就是HTML中的ul或ol标签），你可以使用css选择器来将它们保存为items变量。

而后，你只要使用for循环来迭代它们，抽取你自己想要或者需要的数据，再将它们存储到dict里面就可以了。

但是，在你写完这个爬虫之前，最好用looter提供的shell来调试一下你的cssselect代码是否正确。（目前已集成ptpython，一个支持自动补全的REPL）

在程序调试完成之后，你的爬虫自然也就完成了。怎么样，是不是很简单:)

函数

looter为用户提供了很多实用的函数。

view

在你想要运行程序之前，你最好确认一下页面的渲染是否是你自己想要的

在你爬取了一大堆图片链接时，用它可以直接把它们保存到本地

可以爬取网站的reach和popularity指数（人气度），此函数返回一个元组(url, reach_rank, popularity_rank)

爬取网页的所有链接

同样的，你也可以通过正则表达式来爬取匹配的链接

把得到的结果保存为json文件，支持按键值排序

如果想要保存为其他的格式（csv、xls等），用pandas转化就可以了

用来爬取网站robots.txt上的所有链接。这个在做全站爬虫或者递归式url爬虫时颇为有效

有一些网站必须要先登录才能爬取，于是就有了login函数，本质其实就是建立session会话向服务器发送带有data的POST请求。 考验各位抓包的能力，以下为模拟登录网易126邮箱（要求参数：postdata和param）

防反爬虫的技巧

api搭建

有的时候，仅仅只是爬取数据存到数据库里是不够的。如果你想要把数据开放出去，就需要搭建api。一旦建完成，你就可以以网页、app甚至是微信小程序的形式来向他人展现和使用你的数据了。

我们需要用一个eve的框架，这样我们就能迅速的搭建出我们的api

假设你已经利用爬虫爬取到了jav的数据，并且把它存进了MongoDB数据库里面，那么搭建api的时候就只需创建2个文件：一个是api的站点文件（本质上是一个flask的app实例），另一个是api的配置文件。

其中datasource引用了jav数据库里面的torrents集合，并且把数据进行根据日期降序排序。

运行jav_api.py，并访问这个链接，我们就可以看到我们搭建的api了。

如果想进行查询操作，用where再加上正则表达式就可以了（其实就是MongoDB的查询语法）

如果你想要搭建更加健全的RESTful api，我建议你去阅读eve的官方文档。

到了这里，我们的api便搭建完成了:)

---

Python学习交流群：834179111 群里有很多的学习资料。