这两天在极客学院看视频,感觉在网上看好不方便,所以写了个爬虫来下载视频。
具体思路是:
1.先登录极客学院
2.获取指定页面中的课程网址
3.获取每个课程中的视频的地址
4.下载视频
首先要访问这个网址:
http://passport.jikexueyuan.com/sso/login
获取网页中的需要提交的参数
然后post用户名、密码跟刚刚得到的参数导这个网址:
http://passport.jikexueyuan.com/submit/login?is_ajax=1
实现登录
细心的人会发现,在网页登录时其实是有验证码的,其实之前也有写获取验证码,手动输入,后来因为验证码看不清楚,所以随便输入,发现也能登录成功,所以,其实验证码参数为空也是可以登录的。
最好是添加一个useragent
request.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36')