Python爬虫(2.1):Requests和Response的基本用法

标签: Python response request
4人阅读 评论(0) 收藏 举报
分类:

安装Requests库

启动cmd控制台, 安装Requests库(pip install requests) 
测试安装效果:启动IDLE

    >>> import requests
    >>> r = requests.get("http://www.baidu.com")
    >>> r.status_code
    200
    >>> r.encoding = 'utf-8'
    >>> r.text
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

成功抓取百度主页

这里写图片描述

Requests库的get()方法

    r = requests.get(url)
  • 1

Requests库的2个重要对象:Response(包含爬虫返回的内容)和Request

Response对象的属性

r.status_code HTTP请求的返回状态,200表示连接成功,404表示失败 
r.text HTTP响应内容的字符串形式,即url对应的页面内容 
r.encoding 从HTTP header中猜测的响应内容编码方式( 
r.apparent_encoding 从内容中分析出的响应内容编码方式(备选编码方式) 
r.content HTTP响应内容的二进制形式

get方法获取网上资源的基本流程:用r.status_code检查返回状态 , 
情况1:如果是200,可以用r.text、r.encoding、r.apparent_encoding、r.content解析返回的内容; 
情况2:返回的是404或者其他,则访问不成功

r.encoding和r.apparent_encoding的区别 
r.encoding:如果header中不存在charset,则认为编码为ISO-8859-1 
r.apparent_encoding:根据网页内容分析出的编码方式 
综上所述,r.apparent_encoding比r.encoding更为准确

**r.raise_for_status()**Requests库用于检验异常

爬取网页的通用代码框架

    def getHTMLText(url):
    try:
    r=requests.get(url,timeout30)
    r.raise_for_status  #如果状态不是200,引发HTTPError异常
    r.encoding = r.apparent_encoding
    return r.text
    ecxept:
    return #产生异常
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

保证网络连接的异常能够被有效处理

网络爬虫的限制

来源审查:判断User-Agent进行限制 
检查来访HTTP协议头的User-agent域,只响应浏览器或者友好爬虫访问 
发布公告Robots协议 
告知所有爬虫网站的爬取策略,要求爬虫遵守

Robots协议基本语法

User-agent:* 
Disallow: / 
* 代表所有 , / 代表根目录


实例

(1)京东商品页面的爬取

    >>> import requests
    >>> r = requests.get("http://sale.jd.com/act/L1Y2V6ERZePab4.html?cpdad=1DLSUE")
    >>> r.status_code
    200
    >>> r.encoding
    'utf-8'
    >>> r.text[:1000]
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

(2)亚马逊商品页面的爬取

这里写图片描述
这里写图片描述

(3)360搜索关键词提交

    >>> import requests
    >>> kv = { 'wd':'Python'}
    >>> r = requests.get("http://www.baidu.com/s",params = kv)
    >>> r.status_code
    200
    >>> r.request.url
'http://www.baidu.com/s?wd=Python'
    >>> len(r.text)
    264348
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

(4)网络图片的爬取与存储

(二进制格式的图片、动画、视频等都可以爬取)

    >>> import requests
    >>> path = "E://abc.jpg"
    >>> url = "http://p7.qhmsg.com/t0142c4b9ee48e461ed.jpg"
    >>> r = requests.get(url)
    >>> r.status_code
    200
    >>> with open(path,'wb') as f:
    f.write(r.content)  
    >>> f.close
    <built-in method close of file object at 0x00000000042979C0>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

图片则保存在E盘中

(5)IP地址归属地的自动查询

    >>> import requests
    >>> url = 'http://m.ip138.com/ip.asp?ip='
    >>> r.status_code
    200
    >>> r.text[-500:]
查看评论

Python爬虫利器一之Requests库的用法

前言 之前我们用了 urllib 库,这个作为入门的工具还是不错的,对了解一些爬虫的基本理念,掌握爬虫爬取的流程有所帮助。入门之后,我们就需要学习一些更加高级的内容和工具来方便我们的爬取。那么这...
  • asmcvc
  • asmcvc
  • 2016-03-23 15:43:36
  • 5716

requests入门 response的常用方法 response.text 和response.content的区别

为什么要学习requests,而不是urllib? 1. requests的底层实现就是urllib 2. requests在python2 和 python3中通用,方法完全一样 3. reques...
  • shirley05lhz
  • shirley05lhz
  • 2017-10-30 16:03:11
  • 583

python学习之 requests爬虫导致的中文乱码

python requests库 爬虫 中文乱码
  • sentimental_dog
  • sentimental_dog
  • 2016-09-25 14:44:26
  • 4336

Python3爬虫学习笔记(2.Requests库详解)

Requests库功能相比Urllib库更强大,也许是自带的 如果没有,cmd输入pip install requests获取即可 实例: import requests respo...
  • qq_41144008
  • qq_41144008
  • 2017-12-14 23:32:27
  • 1473

数据爬虫(三):python中requests库使用方法详解

一、什么是Requests Requests 是⽤Python语⾔编写,基于urllib,采⽤Apache2 Licensed开源协议的 HTTP 库。它⽐ urllib 更加⽅便,可以节...
  • Byweiker
  • Byweiker
  • 2018-02-02 04:55:41
  • 614

python爬虫学习笔记——使用requests库编写爬虫(1)

python 爬虫初涉
  • ATM246800
  • ATM246800
  • 2016-05-11 17:19:29
  • 5369

python爬虫入门--Requests库介绍及实例

1、Requests库基础知识 Requests库的get()方法 Requests库的Response对象: Response对象包含服务器返回的所有信息,也包含请求的Request信息。 运...
  • i_chaoren
  • i_chaoren
  • 2017-03-18 21:06:11
  • 3418

python爬虫系列(2)—— requests和BeautifulSoup库的基本用法

本文主要介绍python爬虫的两大利器:requests和BeautifulSoup库的基本用法。
  • dnxbjyj
  • dnxbjyj
  • 2017-04-20 08:14:35
  • 4502

Python Requests库简明使用教程

Requests是一常用的http请求库,它使用python语言编写,可以方便地发送http请求,以及方便地处理响应结果。一、安装1.1 使用PIP进行安装要安装requests,最方便快捷发方法的使...
  • lihao21
  • lihao21
  • 2016-07-08 00:26:13
  • 21269

requests+BeautifulSoup爬虫示例程序

import requests from bs4 import BeautifulSoup try: import xml.etree.cElementTree as ET except Im...
  • qiaojialin
  • qiaojialin
  • 2017-01-17 09:43:27
  • 259
    个人资料
    等级:
    访问量: 23万+
    积分: 3523
    排名: 1万+
    最新评论