中国大学MOOC测验爬取（下）

中国大学MOOC测验爬取（下）

中国大学MOOC（上）我们讲到获取课程信息。下面我们继续。

获取测验id

当我们获取到课程id后，接下啦就是测验id，我们去抓一下包

我发现上面图片这个请求。

当然还要上传payload表单数据。这个payload加入post的data既可以了。我们分析一下payload的数据
首先

callCount=1,
scriptSessionId=${scriptSessionId}190,
c0-scriptName=CourseBean,
c0-methodName=getLastLearnedMocTermDto
c0-id=0,

这些参数是不变的。

c0-param0=number:1206781242

这里number后的数字其实就是课程id（在这说一下，这个课程id我指的是termPanel这个里面的id，不是courseId，就像上图的id: 1206781242是我说的id，courseId: 1206446832不是）
而batchId=1616055609332中的数字其实就是13位时间戳
但是这里获取到的数据其实是text/plain数据，它需要我们转换编码，

text = response.text.encode('utf-8').decode('unicode-escape')

然后用正则匹配，这里我匹配出来测验名字与测验id。

s\d{1,3}\.id=(\d+);s\d{1,3}\.name="(.*?测试.*?)";|s\d{1,3}\.id=(\d+);s\d{1,3}\.name="(.*?测验.*?)";

这个是我匹配的模式。

httpSessionId=4275fb5b78eb47d4a07dd9da3a6a119f

是存在cokie里面的对应的键是NTESSTUDYSI

获取试卷及答案

接下来我们看一下它是怎样的一个请求。
上图上面3个请求就是测验答案获取的过程，中间有2个我没有标红的请求，它是没用的，不用管。
我们先看第一个请求=>测验试卷

它的请求还是post请求。

这个是payload，跟上面的对比一下，这里面httpSessionId跟上面说的一样，
c0-param0=string:1220197025这里的数字其实就是测验id,batchId还是13位时间戳。其它参数还是定值，不变的。
不过这个返回数据还是text/plain格式。需要我们转一下码。其实这个数据不一定要获取，如果仅仅是获取试卷不获取答案，那很简单，到这为止，如果要获取答案的话，要获取aid与tid,它在返回数据的最后，类似下面这样

dwr.engine._remoteHandleCallback(‘1616055609414’,‘0’,{aid:2268659917,answers:null,autoSubmit:false,evaluateVo:null,objectiveQList:s0,showAnalysis:true,subjectiveQList:s1,submitStatus:1,tid:1220197025,tname:"\u6D4B\u9A8C1",type:2});

这个在我们获取测验与答案会用到。
接下来是上传自己做的测验，这个其实是最难的一步，这是我自己认为的。

这个上传答案的请求方式还是post请求。我们看一下它的上传参数。

这个其实就是一小小部分，它其实很多，

当我点击Show more后是这个的好多倍，我一开始是找它处理的js文件，但是没找到，是我太菜了。然后只能自己看这个复写了，最后复写出来了。这里就不多说了，其实就是正则匹配，然后转换什么的。就是数据太多，麻烦一点，别的没什么。
接下来就是我们请求测验与答案了。
它的请求也是post请求，请求的url与请求测验的url相同。我们主要看payload，

这里c0-param1=number:2268659917中的数字就是上面的aid，c0-param0=string:1220197025对应上面tid，其它的跟上面讲的一样，就这两个单独讲一下。然后我们就可以获取到测验及其答案了。它的返回数据格式跟上面一样，那我们操作也是一样的，下面就是获取里面的内容，我们用的是正则。

好了，本期中国大学MOOC测验爬取结束啦。觉得我写的还
凑合就关注一下Ajian，顺便关注一下我的微信公众号
（spiders），也可以扫一下下面的二维码。
我们下期见。