0. 51CTO学院写在前面
从今天开始的几篇文章,我将就国内目前比较主流的一些在线学习平台数据进行抓取,如果时间充足的情况下,会对他们进行一些简单的分析,好了,平台大概有51CTO学院
,CSDN学院
,网易云课堂
,慕课网
等平台,数据统一抓取到mongodb
里面,如果对上述平台造成了困扰,请见谅,毕竟我就抓取那么一小会的时间,不会对服务器有任何影响的。
1. 51CTO学院目标网站
今天的目标网站是 http://edu.51cto.com/courselist/index.html?edunav
数据量大概在1W+,还不错
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/d8183f6caea75f71219a5ba72b91b957.png)