用python爬虫爬取2020年中国大学排行，2024最新Python笔经

if(not paiming1):

pass

else:

print(paiming1[0])

data.append(paiming1)

if(paiming1 in data):

#学校名字

xuexiao1 = re.findall(xuexiao, item)[0]

data.append(xuexiao1)

#得分

defen1 = re.findall(defen, item)[0]

data.append(defen1)

#星级

xingji1 = re.findall(xingji, item)[0]

data.append(xingji1)

#层次

cengci1 = re.findall(cengci, item)[0]

data.append(cengci1)

datalist.append(data) # 把处理好的一个学校信息放入datalist中

return datalist

得到指定一个url网页信息内容

def askURL(url):

我的初始访问user agent

head = { # 模拟浏览器头部信息，向豆瓣服务器发送消息 伪装用的

“User-Agent”: “Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36”

}

用户代理表示告诉豆瓣服务器我们是什么类型的机器–浏览器 本质是告诉浏览器我们可以接受什么水平的文件内容

request