php phantomjs cookie,Python小记：selenium+PhantomJS爬虫解决页面js添加cookie

爬到了一个无比纠结的网站，爬虫遇到了阻碍，从页面直接浏览的时候几乎感觉不出来什么，但是直接使用爬虫访问该网站会出现如下问题：

[scrapy] DEBUG: Crawled (521)

最开始是以为爬虫被识别出来所以被阻拦了，但是header各种伪装都试过了，但是依旧被拦截，各种苦恼之后，无意中刷新页面卡了一下，才从chrom中间看到使用浏览器正常访问也会出现一个521的错误。。。对，一般的爬虫框架或者是使用urllib都会在遇到5开头的错误状态后抛出错误，但是不会返回报文体或者执行后续的callback，于是爬虫就这样终止了。

首先得让爬虫处理错误，如果使用scrapy就在settings里面加入一行如下代码,将521错误添加到允许执行的编码内

HTTPERROR_ALLOWED_CODES= [521]

这样爬虫不会忽略521错误的返回，而是继续调用回调函数。对于使用urllib2的情况可以使用try：exceptHTTPError,e：来接受返回的错误报文。

通过以上方法忽略错误的之后可以得到返回的报文体，是一段如下的惊人js：

var dc = "";

var t_d = {

hello: "world", t_c: function (x) {

if (x === "")return;

if (x.slice(-1) === ";") {

x = x + " ";

}

;

if (x.slice(-2) !== "; ") {

x = x + "; ";

}

;

dc = dc + x;

}

};

(function (a) {

eval(function (p, a, c, k, e, d) {

e = function (c) {

return (c < a ? "" : e(parseInt(c / a))) + ((c = c % a) > 35 ? String.fromCharCode(c + 29) : c.toString(36))

};

if (!''.replace(/^/, String)) {

while (c--)d[e(c)] = k[c] || e(c);

k = [function (e) {

return d[e]

}];

e = function () {

return '\\w+'

};

c = 1;

}

;

while (c--)if (k[c])p = p.replace(new RegExp('\\b' + e(c) + '\\b', 'g'), k[c]);

return p;

}('b d=[3,5,4,6,0,2,1];b o=[];b p=0;g(b i=d.c;i--;){o[d[i]]=a[i]}o=o.m(\'\');g(b i=0;i

})(['|gMKn7WE1X5yhK2iRQ%2BuBd6yeqz', 'at, 05-Dec-15 09:5', 's%3D;Expires=S', '8:18 GMT;Path=/;', '__jsl_cle', '898.818|0', 'arance=1449305']);

document.cookie = dc;

个人对js还是比较熟悉的，研究了一下，这段代码的作用就是生成一个cookie存到浏览器中，并且刷新浏览器，但是在执行中部分代码是通过eval来执行字符串中打乱的动态js，这样就基本断绝了我想用Python来模拟这段js的想法，因为我没有办法分析动态生成的js生成Python。

这种情况只能用本地的js引擎来解析代码得到cookies了，现在比较多的大概是寄予v8的Pyv8个人比较喜欢但是无奈配置环境太坑还需研究，就选择了selenium+PhantomJS，环境配置见上一篇文章。

具体使用的时候上来就踩了一个坑，我原来的想法是是用phantomjs来模拟浏览器访问首页得到cookie然后再传递给爬虫来进行访问，但是失败了，可能服务器端对端口号做了记录，毕竟这是两个不同的程序。于是采用了第二种方法，获取js后修改部分写入文件通过shell调用phantomjs执行输出cookie，Python接收返回的cookie后再进行访问，试验后成功，关键代码如下：

def getSession(self, response):

f = open('getcookie.js', "w+")

# 重构js

js = response.body

js = str(js).replace("

js = js.replace("", '')

js = js.replace("document.cookie=dc", 'console.log(dc);phantom.exit()')

f.write(js)

f.close()

# 获取js执行得到的cookie

status, output = commands.getstatusoutput('phantomjs getcookie.js')

# 重构cookie格式化

cookielist = output.split("; ")

cookie = {}

for sel in cookielist:

Sel = sel.split("=")

if len(Sel) > 1:

cookie.setdefault(Sel[0], Sel[1])

while self.num < self.max_num:

self.num += 1

yield Request("http://zhixing.court.gov.cn/search/detail?id=" + str(self.num)

, headers=self.headers

, cookies=cookie)