Fiddler+手机模拟器+java采集抖音评论数据

Fiddler：请求抓包工具
模拟器：任意安卓模拟器，建议使用7.0以下的引擎（7.0以后对安全数字证书做了修改无法抓包）
java:采用springmvc 主要用于抓包以后提交数据

先下载fiddler和拦截https插件，因为现在大多数的请求都是用的https
官网下载地址
https://www.telerik.com/download/fiddler
https请求插件
http://www.telerik.com/docs/default-source/fiddler/addons/fiddlercertmaker.exe?sfvrsn=2

CSDN直接下载https://download.csdn.net/download/terry711/16129928

安装完fiddler和插件以后打开软软件
点击工具栏中的Tools—>Options




工具右上角显示代理地址的ip

这里使用逍遥手机模拟器，使用5.1版本 7.0以后https无法监听

在wifi中修改代理


高级代理手动

输入ip加端口好 192.168.1.9:8888
安装证书

输入任意名称，设置手机密码。完成证书安装

请求内容
点击操作



就能查看评论

    static function OnBeforeResponse(oSession: Session) {
        if (m_Hide304s && oSession.responseCode == 304) {
            oSession["ui-hide"] = "true";
        }
        //过滤无关请求，只关注特定请求
        if (oSession.fullUrl.Contains("aweme.snssdk.com/aweme/v2/comment/list")) {
            oSession.utilDecodeResponse();
            //消除保存的请求可能存在乱码的情况
            var jsonString = oSession.GetResponseBodyAsString();
            var responseJSON = Fiddler.WebFormats.JSON.JsonDecode(jsonString);
            FiddlerObject.log('2222222222222222'+responseJSON.JSONObject['comments'][0]['text']); 
            var len = responseJSON.JSONObject["comments"];
            FiddlerObject.log(len);
            var str = "";      
                
            for(var j in len){
                var aweme= j["aweme_id"];
                var text = j["text"];
                var user = j["user"]["unique_id"];
                var time = j["create_time"];
                var bh=j["user"]["short_id"];
                //str = str+"留言<"+text+" -- 时间<"+time+" ---  编号<"+bh+" ---  抖音号<"+user+"\r\n";
                str=str+""+aweme+"---"+text+"---"+time+"---"+bh+"---"+user+"___"
            
            }
            var _xhr = new ActiveXObject('Microsoft.XMLHTTP');
            var url = 'http://*.*.*.*:8080/all/set';
            _xhr.onreadystatechange = function() {}
            _xhr.open('POST', url, true);
            //_xhr.setRequestHeader("Content-Type", "application/json; charset=utf-8");
            _xhr.setRequestHeader( "Content-Type", "application/x-www-form-urlencoded;charset=utf-8");
            _xhr.setRequestHeader("X-Requested-With", "XMLHttpRequest");
            FiddlerObject.log(str);
            _xhr.send("bh="+str); 

                }
                }

加入代码写入java程序入库。

以上内容仅供学习讨论。