爬虫项目实战十四：爬取慕课课程

目标

爬取慕课学校云的课程信息。

项目准备

软件：Pycharm
第三方库：requests
网站地址：https://www.icourse163.org/

项目分析

首先登录上自己的慕课账号，以便分析。


审查元素查看源代码，发现在源代码中无法找到。

在这里给找到了

点开看一下，所有的信息都在这里了。


发现为post请求，所以这里要获取真正的网址的话，要获取一系列的东西。

代码实现

1.使用cookie登录上账号，获取真实的网址

import requests
import pprint
headers={
   
    'user-agent':'自己的use-agent',
    'cookie':'自己的cookie'
}
data={
   
    'schoolId'