python数据分析实验二

三、 实验内容和实验步骤：
3.1 第一项内容:爬取大学排名
爬取最好大学网网页中549所国内大学的排名数据，并将排名、学校名称、省市、总分、社会声誉等内容打印出来。
3.2 第二项内容:爬取中国工程院院士信息
爬取中国工程院网页上，把每位院士的简介保存为本地文件，把每位院士的照片保存为本地图片，文本文件和图片文件都以院士的姓名为主文件。
4.1 任务一实验步骤：
（1）使用Google Chrome或其他浏览器打开下面的网址，然后在页面上右击，在弹出的菜单中选择“查看网页源代码”。
http://www.zuihaodaxue.cn/zuihaodaxuepaiming20链接19.html
（2）分析网页源代码的，确定每个学校的姓名和连接所在的HTML标签，为解析网页做准备。
（3）编写代码，爬取信息。

import re
from fake_useragent import UserAgent
import requests


def find_str(start, end, str):
    partten = r'(?<=%s).*?(?=%s)'%(start,end)
    list = re.findall(partten, str)
    return list


ua = UserAgent()
head = {
   'User-Agent': ua.random}
web_url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
req = requests.get(web_url, headers=head)
req.encoding = 'utf-8'
# 提取每一个学校的所有信息
list_tmp = find_str('<tr class="alt">', '</tr>', req.text)
# 学校名字
name_list = find_str('<div align="left">','</div>',str(list_tmp))