python 执行js_Python爬虫之记录一次下载验证码的尝试！

好久没有写过爬虫的文章了，今天在尝试着做验证码相关的研究时，遇到了验证码的收集问题。

一般，验证码的加载都有着比较复杂的算法和加密在里边，但是笔者今天碰到的验证码却比较幸运，有迹可循。在此，给出本爬虫的相关记录。

注意，文章和代码中均不会给出相关的真实网站的信息，避免不道德的行为。

首先，让我们来看一看该验证码的页面，如下：

如果我们尝试着查看该验证码加载时的源代码，会发现源码如下：

我们可以发现，该验证码的加载机制其实并不复杂，只是在网址后面跟了一个时间戳，而这个时间戳，是由JavaScript中的方法产生的，函数内容为 new Date().getTime() 。

知道了验证码背后加载的原理，那么我们不难通过Python来实现验证码的下载。

可惜的是，上述JS函数产生的时间戳是13位数字，而Python的time.time()方法产生的时间戳为浮点数，小数点前10位，小数点后6位。那么，我们如何产生符合上述JS函数产生的时间戳呢？

一个简单的想法是，我们让Python来调用JS！真的可以吗？幸运的是，前人已经替我们做好了这个工作，有个神奇的Python第三方模块，叫做 PyExecJS 。顾名思义，这个模块就是用来执行JS代码的。

该模块的源码中给出了一个例子，我们可以尝试下，代码如下：

# -*- coding: utf-8 -*-import execjsprint(execjs.eval("'red yellow blue'.split(' ')"))ctx = execjs.compile("""         function add(x, y) {             return x + y;         }        """)print(ctx.call("add", 1, 2))

输出结果如下：

['red', 'yellow', 'blue']3

OK，有了上面的例子，我们就知道如何使用该模块了，我们可以轻松地写出下面的代码来下载验证码了：

# -*- coding: utf-8 -*-import execjsimport urllib.requestjs_func = """             function get_milliseconds(){                 return new Date().getTime();             }          """ctx = execjs.compile(js_func)result = ctx.call("get_milliseconds")print(len(str(result)))# 注意，网址已经隐藏url = "http://***/captcha/?%s" % resulturllib.request.urlretrieve(url, "1.png")

下载的验证码如下：

通过我们这次的尝试，发现如下：

• PyExecJS支持Python对JavaScript的操作，所以下次有机会，可以在Python中执行JS函数；
• 验证码的加载算法不宜简单，要注意加密。

本次分享到此结束，感谢大家的阅读~