2018最好大学排行榜 爬虫爬取

需要的库有requests、BeautifulSoup

import requests
from bs4 import BeautifulSoup
import bs4
uinfo = []
ulist = []
try:
    r = requests.get("http://www.zuihaodaxue.com/zuihaodaxuepaiming2018.html",timeout = 30)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
except:
    r.text = ""
demo = r.text
soup = BeautifulSoup(demo,"html.parser")
for tr in soup.find('tbody').children:
     if isinstance(tr,bs4.element.Tag):
         tds = tr('td')
         ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string,tds[4].string])
tplp = "{0:^10}\t{1:{3}^14}\t{2:^4}"
print( "{0:^10}\t{1:{3}^10}\t{2:^10}".format("排名","大学名字","分数",chr(12288)))
for i in range(516):
    u = ulist[i]
    print(tplp.format(u[0],u[1],u[3],chr(12288)))
print("Success")

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬虫可以用来抓取网络上的各种数据,包括大学排名信息。要爬取大学排名,通常会涉及到网站的数据结构和反爬虫策略,这里是一个简化的步骤概述: 1. **目标选择**:确定要抓取的具体大学排名数据来源,如QS世界大学排名、泰晤士高等教育排名等官方网站。 2. **分析网页结构**:使用浏览器开发者工具(如Chrome的开发者工具)查看HTML源码,理解数据是如何在页面上组织的,比如可能在`<table>`或`<div>`标签中。 3. **选择合适的库**:Python有许多库可用于爬虫,如BeautifulSoup、Scrapy或者更高级的Selenium(用于处理JavaScript渲染的内容)。对于简单的静态网页,BeautifulSoup通常足够。 4. **编写代码**:使用Python的requests库发送HTTP请求获取页面内容,然后解析HTML文档提取你需要的信息。例如,你可以查找特定的排名元素,如表格中的行或段落。 ```python import requests from bs4 import BeautifulSoup url = 'https://www.example.com/university-rankings' # 替换为实际的大学排名URL response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # 查找特定的排名元素 rank_elements = soup.find_all('div', class_='rank-item') # 假设这些是包含排名的数据 ``` 5. **数据清洗和存储**:将提取到的数据进行清洗,去掉无关的HTML标签,可能还需要处理缺失值和格式转换。可以保存到CSV、JSON或数据库中。 6. **处理反爬措施**:确保遵守网站的robots.txt文件,设置合理的User-Agent,可能需要使用代理IP或处理cookies和session,以防被网站封锁。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值