Python之爬虫学习记录簿（2）

基本库之requests

继续写另一个更好用的基本库—requests
requests不是内置库，需要额外安装。推荐用pip 安装：

命令行键入：
pip install requests

一，基本用法

1，代码示例：

import requests
r = requests.get('https://www.baidu.com')

即可完成最基本的请求。
2，代码示例：

import requests

data = {'name':'xy',
         'age':'18'
         }
headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'}
r = requests.get(URL,params=data,headers=headers)

即可完成简单的GET请求
3，代码示例：

import requests

r = requests.get('https://github.com/favicon.ico')
with open('favicon.ico' , 'wb') as f:
    f.write(r.content)

抓取音频，视频，图片等本质上由二进制码组成的文件。

二，进阶用法

1，代码示例：

import requests

proxies = {
    'http':'http://代理IP',
    'https':'https://代理IP'
}
r = requests.post(URL , proxies=proxies , timeout=1)

proxies参数指定代理，timeout也是超时时间。