requests 库 & robots 协议

import requests


# ===通用代码框架
def get_html_text(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()  # 如果状态不是200，引发HTTP——error异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"


'''
response对象的属性
属性                            说明
r.status_code           HTTP请求的返回状态，200表示连接成功，404表示失败 
r.text                  HTTP响应内容的字符串形式，即，url对应的页面内容 
r.encoding              从HTTP header中猜测的响应内容编码方式 
r.apparent_encoding     从内容中分析出的响应内容编码方式（备选编码方式） 
r.content               HTTP响应内容的二进制形式
'''

'''
requests库的七个常用方法
方法                          说明 
requests.request()      构造一个请求，支撑以下各方法的基础方法 requests.get()获取HTML网页的主要方法，对应于HTTP的GET 
requests.head()         获取HTML网页头信息的方法，对应于HTTP的HEAD 
requests.post()         向HTML网页提交POST请求的方法，对应于HTTP的POST 
requests.put()          向HTML网页提交PUT请求的方法，对应于HTTP的PUT 
requests.patch()        向HTML网页提交局部修改请求，对应于HTTP的PATCH 
requests.delete()       向HTML页面提交删除请求，对应于HTTP的DELETE
requests.get()          获取HTML网页的主要方法，对应于HTTP的GET 
'''

 # 测试一百次requests需要多长时间
 n = 0
 url = 'http://www.baidu.com'
while n < 100:
     get_html_text(url)
     print(get_html_text(url))
     n += 1

'''
====网络爬虫的尺寸
网页  requests
网站  scrapy
全网  定制开发

====网络爬虫引发的问题
性能骚扰 
法律风险 
隐私泄露

====robots协议
Robots Exclusion Standard，网络爬虫排除标准
==作用：
网站告知网络爬虫哪些页面可以抓取，哪些不行
==形式：
在网站根目录下的robots.txt文件
# *代表所有，/代表根目录 
User‐agent: *  
Disallow: / 
'''