python爬虫 requests基本用法

一些基本用法,ssl证书和身份认证是尚未验证的 

import requests

headers = {
    'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'
                   ' AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36',
    # 'Cookie' : 'XXXXXXXXXXXXXXXX'
}

# 取得图片
# res = requests.get("https://pic2.zhimg.com/d3dd87a0feae0a3db82973157eee89c0_m.jpg", headers=headers)
# with open("1.jpg", "wb") as pic:
#     pic.write(res.content)
# print(res.content)

# 测试cookies,知乎取不到cookies,其他网站可以
# res = requests.get("https://www.zhihu.com", headers=headers)
# print(res.cookies)
# for key, value in res.cookies.items() :
#     print(key+"="+value)

# 测试session, 两次的cookies值是一致的,证明维持了同一个会话
# session = requests.Session()
# res1 = session.get("http://httpbin.org/cookies/set/number/1234567")
# print(res1.text)
# res2 = session.get("http://httpbin.org/cookies")
# print(res2.text)

# 测试ssl证书, 没有找到合适的网站,12306的证书已经被修改好了
# session = requests.Session()
# res = session.get("https://www.ccb.com/cn/home/indexv3.html/", verify=False)
# print(res.status_code)

# 测试超时设置
# session = requests.Session()
# 如果你设置了一个单一的值作为 timeout,这一timeout值将会用作connect和read二者的总和timeout:
#res = session.get("https://www.baidu.com", timeout=1)
#如果要分别指定,就传入一个元组:
# res = session.get("https://www.baidu.com", timeout=(0.1, 3))
# print(res.status_code)

# 身份认证,这种简单的方法无效,总是返回 status_code=200
# res = requests.get("https://passport.csdn.net/login?code=public", auth=('17671766710', 'ylbs4342017'))
# print(res.status_code)

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值