m0_51034309的博客

原创 Practice 1_使用selenium基本用法实现对大学排名等数据爬取

在学习网络爬虫的过程中，通过在mooc上北理嵩天老师的爬虫教学课和平时的自学完成最基础的对无需登录的大学排名网站爬取数据，mooc上老师使用的是bs4库中的BeautifulSoup库以及正则表达式实现对大学排名的爬取。本文中通过selenium中的webdriver实现模拟浏览器的登录和爬取需要的数据，并存储和读取爬取的数据 完整代码如下： from selenium import webdriver options=webdriver.ChromeOptions() options.add_ar