Python爬虫爬取中国大学慕课MOOC课程的课程评价信息（讨论信息），采用selenium动态爬取方法

最新推荐文章于 2024-12-31 00:11:14 发布

逆天崛起

最新推荐文章于 2024-12-31 00:11:14 发布

阅读量9.5k

点赞数 5

分类专栏： Python 文章标签： Python 爬虫中国大学慕课 selenium 课程评价信息讨论信息

本文链接：https://blog.csdn.net/weixin_43330908/article/details/82959940

版权

本文介绍了如何针对中国大学慕课(MOOC)的动态网页，采用Python的selenium库结合不同的WebDriver（最初尝试了phantomjs，后改为Chrome）进行爬虫开发，以获取课程的评价和讨论信息。由于旧版selenium不支持phantomjs，作者切换到较低版本selenium并搭配32位Chrome浏览器及对应的WebDriver。在实施过程中，作者强调了浏览器版本与WebDriver匹配的重要性，并提醒编程学习者使用Chrome或Firefox便于查看源码。

摘要由CSDN通过智能技术生成

首先慕课网是动态网页，不能简简单单采用以前的静态网站的方法，，，所以，，，
我在一开始的时候选择selenium+phantomjs（百度的），后因selenium版本高，不支持后者了，因此我把selenium换成了2.48.0版本，后来发现selenium+phantomjs这种方法运行特别慢，而且我觉得还是有问题，因此开始选择selenium+WebDriver,此方法需要下载chrome浏览器（必需32位），我下载了70.0的浏览器，，对于webDriver必需要下载一个对应支持浏览器版本的版本，如果没有，就选时间最近的，二者还需要在同一目录奥！，具体的话百度一下吧，，学编程的同学最好使用火狐和chrome浏览器奥，看源码方便，我也是小白，下面贴上原创代码奥，经本人运行无误上传分享，谢谢支持！(开头引入的234个库没有用到)

from selenium import webdriver
from time import sleep
import os
import re
from bs4 import BeautifulSoup  #executable_path为chromedriver.exe的解压安装目录，需要与chrome浏览器同一文件夹下
driver=webdriver.Chrome(executable_path="C:\\Users\\Administrator\\AppData\\Local\\Google\\Chrome\\Application\\chromedriver.exe")
url='https://www.icourse163.org/co

最低0.47元/天解锁文章