Python爬虫精简步骤 获取数据

Python爬虫 专栏收录该内容
8 篇文章 0 订阅

爬虫的工作分为四步:
1.获取数据。爬虫程序会根据我们提供的网址,向服务器发起请求,然后返回数据。
2.解析数据。爬虫程序会把服务器返回的数据解析成我们能读懂的格式。
3.提取数据。爬虫程序再从中提取出我们需要的数据。
4.储存数据。爬虫程序把这些有用的数据保存起来,便于你日后的使用和分析。

这一篇的内容就是:获取数据。

首先,我们将会利用一个强大的库——requests来获取数据。

在电脑上安装的方法是:Mac电脑里打开终端软件(terminal),输入pip3 install requests,然后点击enter即可;Windows电脑里叫命令提示符(cmd),输入pip install requests 即可。
出现成功字样
(requests库可以帮我们下载网页源代码、文本、图片,甚至是音频。“下载”本质上是向服务器发送请求并得到响应。

Pip是一个Python的包管理工具。)

先来看requests.get()方法
requests.get()的具体用法如下:

import requests
#引入requests库
res = requests.get('URL')
#requests.get是在调用requests库中的get()方法,它向服务器发送了一个请求,括号里的参数是你需要的数据所在的网址,然后服务器对请求作出了响应。
#我们把这个响应返回的结果赋值在变量res上。
print(type(res))
#打印变量res的数据类型

Response对象常用的四个属性:
1. res.status_code
检查请求是否成功

print(res.status_code)
#打印变量res的响应状态码,以检查请求是否成功
响应状态码说明举例说明
1xx请求收到100继续提出请求
2xx请求成功200成功
3xx重定向305应使用代理访问
4xx客户端错误403禁止访问
5xx服务器端错误503服务不可用

2.res.content
能把Response对象的内容以二进制数据的形式返回,适用于图片、音频、视频的下载

3.res.text
可以把Response对象的内容以字符串的形式返回,适用于文字、网页源代码的下载

4.res.encoding
能帮我们定义Response对象的编码
(遇上文本的乱码问题,才考虑用res.encoding)

小结:
获取数据,本质就是通过URL去向服务器发出请求,服务器再把相关内容封装成一个Response对象返回给我们,这是通过requests.get()实现的,而获取到的Response对象下有四个以上常用的属性。

爬虫协议:
Robots协议是互联网爬虫的一项公认的道德规范,它的全称是“网络爬虫排除标准”(Robots exclusion protocol),这个协议用来告诉爬虫,哪些页面是可以抓取的,哪些不可以。
如何查看网站的robots协议呢?在网站的域名后加上/robots.txt就可以了。

  • 53
    点赞
  • 9
    评论
  • 98
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 终极编程指南 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值