点击上方“Python编程与实战”,选择“置顶公众号”
第一时间关注Python实战技巧!
携程的反爬机制有点让人害怕,当某些参数不对的时候,直接返回的房价价格比实际价格要高,这也可以当作“千人千面”吧。
阅读步骤
效果展示
项目地址
携程反爬机制图示
携程反爬三点
总结
效果展示
项目地址
https://github.com/justcodedroid/spider_js/tree/master/xiecheng
携程反爬机制图示
携程反爬三点
我们抓取的地址是这类的。https://hotels.ctrip.com/hotel/7067729.html
抓取数据是乱码(温馨提示不要使用json中html字段),我们可以通过debugjs函数发现,字体之间有一个映射函数。用node重写。
function parser(e){
e = Buffer.from(e, 'base64').toString()
function t(e, t, o){
var i = "";
try {
i = ((n, t) => {
var r, o, e = "1", i = void 0 == e[0], c = i ? [] : "";
for (r = 0; r
o = t.charAt(n.charAt(r).charCodeAt(0) - 21760).charAt(0),
i ? c.push(o) : c += o;
return c = i ? c.join("") : c
})(e, t)
} catch (n) {
i = ""
}
return i
}
var i =