Python爬虫爬取中国大学慕课MOOC课程的课程评价信息(讨论信息),采用selenium动态爬取方法

首先慕课网是动态网页,不能简简单单采用以前的静态网站的方法,,,所以,,,
我在一开始的时候选择selenium+phantomjs(百度的),后因selenium版本高,不支持后者了,因此我把selenium换成了2.48.0版本,后来发现selenium+phantomjs这种方法运行特别慢,而且我觉得还是有问题,因此开始选择selenium+WebDriver,此方法需要下载chrome浏览器(必需32位),我下载了70.0的浏览器,,对于webDriver必需要下载一个对应支持浏览器版本的版本,如果没有,就选时间最近的,二者还需要在同一目录奥!,具体的话百度一下吧,,学编程的同学最好使用火狐和chrome浏览器奥,看源码方便,我也是小白,下面贴上原创代码奥,经本人运行无误上传分享,谢谢支持!(开头引入的234个库没有用到)

from selenium import webdriver
from time import sleep
import os
import re
from bs4 import BeautifulSoup  #executable_path为chromedriver.exe的解压安装目录,需要与chrome浏览器同一文件夹下
driver=webdriver.Chrome(executable_path="C:\\Users\\Administrator\\AppData\\Local\\Google\\Chrome\\Application\\chromedriver.exe")
url='https://www.icourse163.org/co
  • 5
    点赞
  • 59
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
评论 10
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值