桃宝问大家数据抓取

已经工作两年了，但这是第一次写博客，主要是以前逆向破解过不少东西，后来需要的时候发现都忘光了，又要重新破解一遍既费时间还没有成就感，不如一开始就记录一下吧。

 掏包上大家一般看一件商品的好坏除了看它的评价外还可以参考文大家，看大家问了些什么也可以看买过的人怎么回答。采集到这些数据对于商家而言可以通过数据直观的知道在用户眼里自己家商品有哪些痛点，也可以看的竞品的产品有哪些不足，甚至数据量足够大还可以用来做个简单的数据分析，看到用户们对整个行业的产品吐槽和担忧的最多的是什么。

先废话少说，讲完了技术在商业的用武之地，开始干货。

一、找一个文大家的tb页面，然后分享出来，得到它的URL

二、用浏览器请求该连接，F12在左下角控制台切换成手机浏览器，如下图

三、然后找到有我们所需要数据的请求进行解密。经过仔细查找我们需要的数据在js文件中，先查看有没有加密的字段。很明显， URL中的sign参数是经过加密的，每次请求到的都是不一样的。

四、现全局搜索sign，发现只有两个地方有，优先进去看看

五、进去js文件后，全文搜索sign，找到最像加密的地方，这个地方如果问怎么判断那里最像加密，嗯～ 只能说凭感觉或者经验吧

六、接下来就简单了，打断点一步一步往上走追根溯源

七、sign参数破解后，还有一个加密。具体叫什么时间有点长我忘了（好像是ret），但是仔细观察一下你就会发现请求怎么变它不变，但凡浏览器换了它必变，或者清空cookie也变。这个其实很简单，就是当该网页刚刚进入的时候，Window生成的，具体操作就是hook主Window，然后逐个往上走。这种大部分生成都是在前端生成的，所以前端能找到。

八、hook Windows步骤

        a.先清空cookie或者换个浏览器都行

        b.断住JavaScript代码

         c.在console中运行

         (function() {
            'use strict';
            Object.defineProperty(window, 'goldlog', {  // 修改goldlog为你需要查询的window属性
                get: function() {
                    debugger;
                    return "";
                },
                set: function(value) {
                    debugger;
                    return value;
                },
            });
            // Your code here...
        })();

        d.打开b步骤，进行下一步，挨个断点逐个走，总会遇到你想遇到的那个参数

注意：以前淘宝手机网页浏览好像不用登录的，现在需要登录了，如果有可以避免登录的方法，欢迎大宝贝们评论区留言。