想给形势与政策写一个爬虫,于是去到tyt的答题网站。
① 发现:登陆后的首页的点击答题的按钮,是一个链接 <a herf="/index.php/home/exam/exam/id/46.html"> ,使用postman get后,得到了一套题(考试页面);
② 发现:每个选项点击之后都会调用 setanswers()函数,于是通过仔细寻找,发现引用了一个新的js文件—— /Public/Home/lib/theory.ori.js?3637,正是我想要的包含了一系列函数的文件。
③ 通过观察后,发现:学生的答案都是在一个数组 _ANSWERS[] 之中,_ANSWERS[i] 中存放的是第i套题的选项值(其中 A是1 B是2 C是4 D是8),对于多项选择来说就是选项值之和;
而且,在这个js中,是使用jQuery调用ajax 进行网络通信,通信目标就是判断得分的url(="/index.php/Home/Exam/getScores"),将_ANSWERS数组post过去,并且返回一个JSON:
因此:我写一个js文件(在考试页面中找到了我需要的period和id),想要依样画葫芦,post我自己写的数组过去,但是有个问题,一直没有解决……而且重新get一次考试页面之后,显示wrong了,没有权限了……可能是之前我浏览器的缓存让我进入的吧……
…………………………………………………………!!!我真是傻!!爬虫该用python啊……………………………………
python urllib 和 beautifulsoup4【待学ing】