中国大学排名定向爬虫

import requests
from bs4 import BeautifulSoup

获取页面

def get_content(url):

try:

user_agent=“Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.109 Safari/537.36” # 代理伪装，防止误封
response=requests.get(url,headers={‘User-Agent’,user_agent})
response.raise_for_status() # 如果返回的状态码不是200，则抛出异常
response.encoding = response.apparent_encoding # 判断网页的编码格式，便于.text知道如何解码

except Exception as e:

print(‘爬取错误’)
else:
print(response.url)
print(‘爬取成功’)
return response.content

解析页面，提取想要的信息

def getUnivList(html):

“”“解析页面内容， 需要获取: 学校排名， 学校名称， 省份， 总分”"