目标
爬取慕课学校云的课程信息。
项目准备
软件:Pycharm
第三方库:requests
网站地址:https://www.icourse163.org/
项目分析
首先登录上自己的慕课账号,以便分析。
审查元素查看源代码,发现在源代码中无法找到。
在这里给找到了
点开看一下,所有的信息都在这里了。
发现为post请求,所以这里要获取真正的网址的话,要获取一系列的东西。
代码实现
1.使用cookie登录上账号,获取真实的网址
import requests
import pprint
headers={
'user-agent':'自己的use-agent',
'cookie':'自己的cookie'
}
data={