Python爬虫基础——requests、BeautifulSoup

最近由于工作需要，所以学习了一些爬虫小知识。之前一直觉得爬虫是黑科技，里面的弯弯绕绕多得很，各种反爬技术和更高的爬虫手段层出不穷，要学习是个难事。后来发现其实并不难，对于没有刻意的反爬技术的网站而言，基本就是以下两个Python库的使用——

• requests
• BeautifulSoup

首先，当然是安装这两个包了。安装后，一个最简单的爬虫流程，就是，先向URL发出GET请求：（假设我们爬取某医院的医生信息，网址是：https://www.pumch.cn/detail/4126.html）

import requests
from bs4 import BeautifulSoup

res = requests.get('https://www.pumch.cn/detail/4126.html')
print(res.text)

结果：

就这样，用requests库发出GET请求，就可以非常轻松地得到这个页面的源代码。注意，这个HTML页面的源代码是XML格式的，是由不同的html标签组成，具体不清楚的同学可以搜搜看。

此外，我们可以看到，爬虫爬到的结果都很奇怪——是的，都是一堆乱码，这其实就是编码问题，改成utf-8编码就好了：

res.encoding='utf-8'
print(res.text)

结果：

如上图，这样的结果就是正常的了。我们使用BeautifulSoup提供的xml解析工具，还可以将结果显式得更好，也可以通过BeautifulSoup的方法对HTML标签进行查找，以找到我们想要的内容：

如上图，我们将返回的网页源代码包装成BeautifulSoup文件，然后使用其`find_all()`方法。find_all()方法可以使用HTML标签的name、attrs(属性)、class、id等字段对结果进行筛选。具体BeautifulSoup使用方法可以见此篇：https://cuiqingcai.com/1319.html

最终，我们就轻易地获取了该页面上关于“游凯“医生的简介。

---

当然，也有意外的情况——

有些网站需要安全证书（比如12306），有些网站必须请求头的“User-Agent”信息才能用Python脚本请求成功，所以我们需要作出相应的设置：

url = 'https://www.zryhyy.com.cn/Html/Doctors/Main/Index_232.html'
headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}
r = requests.get(url, headers=headers, verify=False)

如上代码，该网页有证书要求，如果没有"verify"一项就会报错。所以我们可以将此项置为False予以解决；

而有的网站（例如知乎），它要求必须在Header中定义"User-Agent"。我们查看了Chrome浏览器的"User-Agent"信息后，仿照该信息自定义Header，并传入get方法，再发请求，即可得到想要的结果