爬虫初学——爬取中国大学排名并存为csv文件

最新推荐文章于 2022-11-30 19:52:27 发布

anpaobu1492

最新推荐文章于 2022-11-30 19:52:27 发布

阅读量1.4k

点赞数

文章标签：爬虫 python 开发工具

原文链接：http://www.cnblogs.com/shuxincheng/p/10933546.html

版权

本文介绍了使用Python爬虫技术抓取软科2016年中国最好大学排名，并将前十名的数据保存为CSV文件。通过调整参数，可以获取并保存更多排名数据。

摘要由CSDN通过智能技术生成

链接：软科中国最好大学排名2016

代码：

 1 # -*- coding: utf-8 -*-
 2 """
 3 Created on Mon May 27 21:10:59 2019
 4 
 5 @author: Benny
 6 """
 7 
 8 import csv
 9 import os
10 import requests
11 import pandas
12 from bs4 import BeautifulSoup
13 allUniv = []
14 def getHTMLText(url):
15     try:
16         r = requests.get(url, timeout=30