Python爬取中国大学MOOC课程信息

问题：获取中国大学MOOC平台的课程信息，包括开课学校、课程类别（标签）、课程名称、课程评分、评价人数和已参加课程人数。

思路：
1.进入中国大学MOOC首页，点击“学校”，进入学校页面（可直接获取单个url）

2.获取页面上所有学校url,保存到列表中（当前页上有所有学校url）

3.依次进入学校页面，获取所有课程的url（不止一页，需要翻页操作）
高亮：这一步要注意有的学校页面下没有课程没有课程没有课程，有的学校下只有一页课程！

4.进入课程页面，获取信息，存入列表

需要注意的就是几处点击操作，以及准确找到和提取目标文本

import requestsfrom bs4 import BeautifulSoupimport reimport timefrom selenium import webdriverimport pandas as pdimport csv ###爬取课程页信息###def GetDetail(url,result):        driver=webdriver.Chrome()    driver.get(url)    time.sleep(2)    html=driver.page_source    bsobject=BeautifulSoup(html,"lxml")     #print(bsobject)    course_name=bsobject.find(class_="course-title f-ib f-vam").get_text()    result.append(course_name)    subject=bsobject.find(class_="breadcrumb_item sub-category").get_text()    result.append(subject)    num_of_join=bsobject.find(class_="course-enroll-info_course-enroll_price-enroll_enroll-count").get_text()    result.append(num_of_join.split()[1])    num_of_mark=bsobject.find(id="review-tag-num").get_text()    result.append(num_of_mark[1:-1])    a = driver.find_element_by_id("review-tag-button")     a.click()    time.sleep(2)    html=driver.page_source    bsobject=BeautifulSoup(html,"lxml")    star=bsobject.find(class_="ux-mooc-comment-course-comment_head_rating-scores")    #print(star)    if star is not None:        result.append(star.get_text())        #print(star.get_text())    else:        result.append("")    driver.close()    #print(cont4)#url="https://www.icourse163.org/course/WHU-1457456166"#GetDetail(url)   ###爬取单个页面###def getHTMLText(url):    try:        time.sleep(3)        r = requests.get(url, timeout=30)        r.raise_for_status()        r.encoding = r.apparent_encoding        return r.text    except:        return ""###爬取首页所有高校页面链接###def getSchoolURLs():    school_ls=[]    school_url_ls=[]        html=getHTMLText(base_url)    soup=BeautifulSoup(html)    for link in soup.body.findAll(class_='u-usity f-fl'):        if 'href' in link.attrs:            #print(link.attrs['href'])            school_ls.append(link.attrs['href'])    #print(school_ls)    for item in school_ls:        school_url_ls.append("https://www.icourse163.org"+item+"#/c")    return school_url_ls#print(school_url_ls)#生成目标学校url   base_url="https://www.icourse163.org/university/view/all.htm#/" #首页urlSchoolURLs=getSchoolURLs() #得到存放了所有大学页面url的列表print(SchoolURLs)  #成功 ###打开csv文件，写入文件头headers_of_csv=["学校","课程名称","科目","参加人数","评价人数","评分"]csvFile=open("中国大学MOOC课程信息3.csv","w+",newline='',encoding='utf-8')f_csv=csv.writer(csvFile)f_csv.writerow(headers_of_csv) results=[]  #数组存放学校，课程名，科目，参与人数，评价人数，评分 for school in SchoolURLs:     print("在读取的学校是：{}".format(school))    course_ls=[]    course_url_ls=[]    driver=webdriver.Chrome() #打开浏览器    def OpenSchoolWeb(url):          driver.get(url)        time.sleep(3)        html=driver.page_source        bsobject=BeautifulSoup(html,"lxml")        cont=bsobject.findAll(class_="u-courseCardWithTime-container_a160")         for items in cont:            if 'href' in items.attrs:                 if items.attrs['href'] in course_ls:                    return                course_ls.append(items.attrs['href']) #找到课程链接         for items in course_ls:            course_url_ls.append("https:"+items) #构造完整url        try:            a = driver.find_element_by_link_text("下一页")  #翻页            a.click()            time.sleep(3)        except:            return        OpenSchoolWeb(url)     OpenSchoolWeb(school)   #打开该学校页面并获取所有课程    driver.close()   #关闭浏览器        CourseURLs=set(course_url_ls) #去重    print("找到{}门课程".format(len(CourseURLs)))        for course in CourseURLs:        print("在读取的课程是：{}".format(course))        result=[]        result.append(str(school)[38:-3])  #第一个元素是该课程开设的高校        GetDetail(course,result) #爬取课程页面信息        f_csv.writerow(result) #写入数据        print(result) #成功csvFile.close  #结束关闭csv文件 

exm??? 不好意思调了很久实在不知道插入代码块怎么没给我保留缩进
那给个网盘链接吧：）
链接：https://pan.baidu.com/s/1ViUiAIagINJXUNVhDi2fyw
提取码：uh76

后记：1. 这次的问题其实是一个导论课期末论文作业，临近期末ddl比较多，从选题到数据采集、数据分析、数据可视化、撰写论文共耗时3.5天，赶工完成，质量不足见谅。（以及博主由于没学过面向对象程序设计不会class，所以代码写的很幼稚很纯C；分析和可视化也是直接用了excel…逃）2. 经博主检验代码可用（截止2020/6/2），但是不保证是否能够顺利爬取MOOC所有课程。博主让它爬了一晚上，第二天醒来发现电脑网络断了…（至于有没有被反爬我也不确定）然后拿了近800条数据走人：）3.代码写了1.5天的样子，可以说是整个过程中做的最认真的部分了吧。（第一次很不熟练一直卡）。几点体会：（1）提取元素的时候可以先考虑简单的方法，不行再考虑正则表达式匹配等复杂的方法（可能由于博主太菜啦也写不来正则…）印象较为深刻的是提取参加人数的时候发现“已有 3096 人参加”在文字和数字间其实有空格，所以只要用split()方法切开就可以取出数据。（2）之前只接触过requests,考虑过用post方法获取页面的response…后来发现…selenium真的香！（3）好好学习唉