浅谈爬虫（1）

首先我们要选用好的编译器pycharm就不错，安装教程问度娘。介绍第一个方法requests,里面有7个方法但是用的的也就2个get()和head（）

获取一整页比较乱
mport requests

def get(url):
#捕捉异常#
try:
r=requests.get(url)
#转码#
r.raise_for_status()
r.encoding=r.apparent_encoding
return r.text
except:
return “产生异常”

if name==‘main’:
url = ‘http://www.zuihaodaxue.com/zuihaodaxuepaiming2016.html’
print(get(url))

import requests
import bs4
from bs4 import BeautifulSoup

##########获取######
def get(url):
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
print(‘error’)
return “”
###解析###
def fill(ulist,html):
soup = BeautifulSoup(html,“html.parser”)
for tr in soup.find(‘tbody’).children:
if isinstance(tr, bs4.element.Tag):
tds = tr(‘td’)
ulist.append([tds[0].string, tds[1].string, tds[2].string])
return ulist
######打印###

def printi(ulist,num):
print("{:^10}\t{:10}\t{:^10}".format(“排名”, “大学”, “地区”))
for i in range(num):
u = ulist[i]
print("{:^10}\t{:10}\t{:^10}".format(u[0],u[1],u[2]))

def main():
uinfo=[]
url = ‘http://www.zuihaodaxue.com/zuihaodaxuepaiming2016.html’
html = get(url)
uinfo = fill(uinfo, html)
printi(uinfo, 22)
main()

C:\rrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrr\venv\Scripts\python.exe C:/rrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrr/ee.py
排名 大学 地区
1 清华大学 北京市
2 北京大学 北京市
3 浙江大学 浙江省
4 上海交通大学 上海市
5 复旦大学 上海市
6 南京大学 江苏省
7 中国科学技术大学 安徽省
8 哈尔滨工业大学 黑龙江省
9 华中科技大学 湖北省
10 中山大学 广东省
11 东南大学 江苏省
12 天津大学 天津市
13 同济大学 上海市
14 北京航空航天大学 北京市
15 四川大学 四川省
16 武汉大学 湖北省
17 西安交通大学 陕西省
18 南开大学 天津市
19 大连理工大学 辽宁省
20 山东大学 山东省
21 华南理工大学 广东省
22 吉林大学 吉林省

Process finished with exit code 0