Python进阶(四十五)走进requests库_beautiful is better than ugly(2)

Requests 允许你发送简单的HTTP/1.1请求，无需手工劳动。你不需要手动为 URL 添加查询字串，也不需要对 POST 数据进行表单编码。Keep-alive和 HTTP连接池的功能是100%自动化的，一切动力都来自于根植在Requests内部的 urllib3。

• Beautiful is better than ugly.(美丽优于丑陋)
• Explicit is better than implicit.(清楚优于含糊)
• Simple is better than complex.(简单优于复杂)
• Complex is better than complicated.(复杂优于繁琐)
• Readability counts.(重要的是可读性)

二、安装 Requests

通过pip安装

pip install requests

在博文《Python进阶(二十)-Python爬虫实例讲解》、《Python进阶(十八)-Python3爬虫小试牛刀之爬取CSDN博客个人信息》中讲解了利用urllib、bs4爬取网页信息。下面讲解利用requests和bs4的爬取网页信息。

三、数据获取

在模拟访问过程中，需要设置好请求头，已达到模拟浏览器访问的效果请求头设置如下：

#伪装headers
headers = {
    #伪装成浏览器访问，直接访问的话csdn会拒绝
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36',
    # 若写成'Proxy-Connection':'keep-alive'，则CSDN会拒绝访问
    'Connection': 'keep-alive',
    'Cache-Control': 'max-age=0',
    'Upgrade-Insecure-Requests': '1',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,\*/\*;q=0.8',
    'Referer': 'http://wri