爬虫之request库

一、request基本处理

import requests
#get请求
req=requests.get('http://www.baidu.com/')
data=req.content.decode('utf-8')

print(data)

二、设置headers

import requests
#构建headers
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.110 Safari/537.36'}
req=requests.get('http://www.ibeifeng.com',headers=headers)

print(req.text)

三、设置cookies

import requests
f=open('1.txt','r')
#初始化cookie字典变量
cookie={}
#split() :按照字符 ；进行划分读取
for line in f.read().split(';'):
    #split第二个参数设置成1，把字符串拆分成两部分：
    #strip()：去除前后空格
    name,value=line.strip().split('=',1)
    #为cookie字典添加内容
    cookie[name]=value
# print(cookie)
res=requests.get('http://www.baidu.com',cookies=cookie)
#状态码 ，200成功
print(res.status_code)

四、设置代理ip

方法一：

import requestsproxies={'http':'122.114.31.177:808'}req=requests.get('http://www.taobao.com/',proxies=proxies)

print(req.status_code)

五、设置超时

import requests
#构建headers
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.110 Safari/537.36'}
req=requests.get('http://www.taobao.com',headers=headers,timeout=1)