在线学习网站 “麦**院” 课程爬虫实现

本文描述方法由于2016年年初官方网站升级，固不可重现。

背景

最近兴起的互联网+教育，导致了很多在线学习网站的诞生，但是由于很多开发者图方便，网站安全措施做的不规范，导致很多课程资源不够安全。个人理解，对于一个按课程付费为主要收入的在线学习网站，课程就是变现的全部家当，如果安全措施做得不到位，那前期收集视频教程的钱算是打水漂了。

一次偶然发现

搜视频教程的时候偶然发现一个叫“麦。。院”的it在线教育平台。该平台权限提升与否与可看视频没有关联，导致从html里可以通过mp4下载，而绕过前端js判断的用户权限。不过值得表扬的是用js控制html5视频加速播放。

▼前端静态页面

所以，可以通过一些简单的网络爬虫进行抓取该课程网站的所有教程。

这个网络把钱分成四步：

▼第一步，获取课程的分类

▼第二步，获取课程的章节

▼第三步，获取课程的视频链接（保险起见先迅雷download下来）

▼第四步，从链接中获取mp4后缀以及对应的文件名

▼第五步，迅雷带你飞（最多支持1000条任务，还得分批。。。）

总结

没有多线程和智能化爬虫没什么技术含量，无非是http，正则的组合。不过有了这些视频教程，感觉又能提升一个学术档次。