前段时间学习爬虫,写了一个2019年中国大学排行的爬虫
今天运行了一下,发现报错了,去页面一看,原来地址都换了,页面也改版了
顺便改一下代码贴上来,欢迎大佬指导和探讨
import requests
from bs4 import BeautifulSoup as bs
import bs4
def get_text(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r