爬虫-初次接触

#get()是获取网页最常见的方式
import requests
from bs4 import BeautifulSoup

####################################第一步######################################

#在调用requests.get()函数之后，返回的网页内容会保存为一个Response对象
#get()函数的参数URL链接必须采用HTTP或HTTPS方式访问
response = requests.get("http://www.baidu.com")

print(type(response))    #通过type()来查看返回response对象的类别
#结果：<class 'requests.models.Response'>

#返回的状态码，200：连接成功，404：连接失败
status_code = response.status_code
print(status_code)

#返回的内容
text = response.text
print(text)

#HTTP响应内容的编码方式
encoding = response.encoding
print(encoding)

#修改编码方式为utf-8
encoding1 = response.encoding = 'utf-8'
print(encoding1)

#更改完成之后，返回内容中的中文字符就可以正常显示了
text1 = response.text
print(text1)

####################################第二步######################################

#写一个读取网页内容的函数

def getHtmlText(url):
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status() #返回的状态码不是200的时候，引发异常；只要在收到响应的时候调用这个方法，就可以避开状态码200以外的各种意外情况
        r.encoding = 'utf-8'
        return r.text
    except:
        return ""
#测试
url = "http://www.baidu.com"
print("函数测试输出：\n",getHtmlText(url))

#分析网页内容提取有用的数据到恰当的数据结构中
#以下是对大学排名的例子，url：http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html

#观察源码发现我们想要的数据在<tr>下的<td>标签中的
all = []
def List(soup):
    data = soup.find_all('tr')
    for tr in data:
        ltd = tr.find_all('td')
        if len(ltd)==0:       #这里是因为源码中还有其他的tr标签，但是没有td标签，所以可以筛选一下
            continue
        part = []
        for td in ltd:
            part.append(td.string)
        all.append(part)

#输出

def printList(num):
    print("{1:^2}{2:{0}^10}{3:{0}^5}{4:{0}^4}{5:{0}^10}".format(chr(12288),"排名","学校名称","省市","总分","就业率"))
    for i in range(num):
        u = all[i]
        print("{1:^4}{2:{0}^10}{3:{0}^4}{4:{0}^8}{5:{0}^10}".format(chr(12288),u[0],u[1],u[2],u[3],u[5]))

#主函数测试

def main(num):
    url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html"
    html = getHtmlText(url)
    soup = BeautifulSoup(html, "html.parser")
    List(soup)
    printList(num)

main(10)

观察网页的源码：

最后爬取的结果：