爬虫入门（一）requests库

requests库

（1）request库的安装
对于python：pip install requests
对于anaconda:conda install requests
如果还是不行，可以在pycham中选择file–>settings–>双击任意package–>查找所需的包，选择底下的install，等待一段时间后就可以。
（2）requests应用

import requests #导入requests库
r = requests.get('https://unsplash.com') #像目标url地址发送get请求，返回一个response对象
print(r.text) #r.text是http response的网页HTML

运行后在底下显示获取到了网页的HTML内容。
（3）requests库的使用
1）get请求
刚刚使用的就是get请求，可以通过print(type(r))看到r的类型是response
get还可以请求传递参数
例如：payload = {'key1': 'value1', 'key2': 'value2'} r = requests.get("http://httpbin.org/get", params=payload)
相当于：http ?/httpbin.org/get?key1=value1&key2=value2
2）post请求
无参的post请求r = requests.post("http://httpbin.org/post")
有参的post请求payload = {'key1': 'value1', 'key2': 'value2'} r = requests.post("http://httpbin.org/post", data=payload)
post请求多用来提交表单数据，即填写一堆输入框，然后提交。
3）其他请求

r = requests.put("http://httpbin.org/put")
r = requests.delete("http://httpbin.org/delete")
r = requests.head("http://httpbin.org/get")
r = requests.options("http://httpbin.org/get")

例子：

import requests

response  = requests.get("https://www.baidu.com")
print(type(response))
print(response.status_code)
print(type(response.text))
print(response.text)
print(response.cookies)
print(response.content)
print(response.content.decode("utf-8"))

运行结果：