Python爬虫之煎蛋网妹子图爬虫，解密图片链接加密方式

之前在鱼C论坛的时候，看到很多人都在用Python写爬虫爬煎蛋网的妹子图，当时我也写过，爬了很多的妹子图片。后来煎蛋网把妹子图的网页改进了，对图片的地址进行了加密，所以论坛里面的人经常有人问怎么请求的页面没有链接。这篇文章就来说一下煎蛋网OOXX妹子图的链接获取方式。

首先说明一下，之前煎蛋网之所以增加了反爬虫机制，应该就是因为有太多的人去爬他们的网站了。爬虫频繁的访问网站会给网站带来压力，所以，建议大家写爬虫简单的运行成功就适可而止，不要过分地去爬别人的东西。

爬虫思路分析

图片下载流程图

首先，用一张简单的流程图（非规范流程图格式）来展示一下爬取简单网的妹子图的整个流程：

流程图解读

1、爬取煎蛋网的妹子图，我们首先要打开任意一个妹子图的页面，比如 http://jandan.net/ooxx/page-44#comments 然后，我们需要请求这个页面，获取2个关键的信息（后续会说明信息的具体作用），其中第一个信息是每个妹子图片的 hash 值，这个是后续用来解密生成图片地址的关键信息。

2、在页面中除了提取到图片的 hash 之外，还有提取到当前页的一个关键的js文件的地址，这个js文件中包含了一个同样是用来生成图片地址的关键参数，要得到这个参数，必须去请求这个JS地址，当时妹子图的每个页面的js地址是不同的，所以需要从页面中提取。

3、得到了图片的 hash 和 js 中的关键参数之后，可以根据js 中提供的解密方式，得到图片的链接，这个解密方式后续用Python代码和js代码的参照来说明。

4、有了图片链接，下载图片就不多说了，后续会有第二篇文章，来使用多线程+多进程的方式下载图片。

页面分析

网页源代码解读

我们可以打开一个妹子图的页面，还是最开始的 http://jandan.net/ooxx/page-44#comments 为例，然后查看源代码（注意，不是审查元素），可以看到本应该放图片地址的地方并没有图片地址，而是类似于下面的代码：

<p><img src="//img.jandan.net/img/blank.gif" onload="jandan_load_img(this)" /><span class="img-hash">ece8ozWUT/VGGxW1hlbITPgE0XMZ9Y/yWpCi5Rz5F/h2uSWgxwV6IQl6DAeuFiT9mH2ep3CETLlpwyD+kU0YHpsHPLnY6LMHyIQo6sTu9/UdY5k+Vjt3EQ</span></p>

从这个代码可以看出来，图片地址被一个js函数代替了，也就是说图片地址是由这个jandan_load_img(this)函数来获取并加载的，所以，现在的关键是，需要到JS文件中查找这个函数的意义。

js文件解读

通过在每个js文件中搜索jandan_load_img，最后可以在一个地址类似于 http://cdn.jandan.net/static/min/1d694f08895d377af4835a24f06090d0.29100001.js 的文件中找到这个函数的定义，将压缩的JS代码格式化查看，可以看到具体的定义如下片段：

function jandan_load_img(b) {
   
    var d = $(b);
    var f = d.next("span.img-hash");
    var e = f.text();
    f.remove();
    var c = f_Qa8je29JONvWCrmeT1AJocgAtaiNWkcN(e, "agC37Is2vpAYzkFI9WVObFDN5bcFn1Px");

这段代码的意思很容易看懂，首先它提取了当前标签下css为img-hash的span标签的文本,也就是我们最开始说的图片的 hash 值，然后把这个值和一个字符串参数（每个页面的这个参数是变动的，这个页面是 agC37Is2vpAYzkFI9WVObFDN5bcFn1Px）一起传递到另外一个函数f_Qa8je29JONvWCrmeT1AJocgAtaiNWkcN中，所以我们还要去查看这个函数的意义才行，这个函数就是用来生成图片链接的函数了。

f_ 函数的解读

可以在js中查找这个f_函数的定义，可以看到有两个，但是没关系，根据代码从上到下执行的规律，我们只需要看比较靠后的那个就行了，完整的内容如下：

var f_Qa8je29JONvWCrmeT1AJocgAtaiNWkcN = function(m, r, d) {
   
    var e = "DECODE";
    var r = r ? r : "";
    var d = d ? d : 0;
    var q = 4;
    r = md5(r);
    var o = md5(r.