python爬虫入门(一)

这篇博客介绍了Python爬虫的基本概念,包括浏览器的工作原理和爬虫的工作流程。重点讲解了requests库的使用,包括requests.get()方法获取网页响应,Response对象的status_code、content和text属性,以及如何处理编码问题。最后提到了爬虫的道德规范——Robots协议,强调了尊重网站的抓取规则的重要性。
摘要由CSDN通过智能技术生成

浏览器的工作原理:

客户端、浏览器、服务器之间的关系
客户端、浏览器、服务器之间的关系如上图

爬虫的工作原理

在这里插入图片描述

  1. 获取数据:根据我们提供的网址,向服务器发起请求,然后返回数据。
  2. 解析数据:爬虫程序会把服务器返回的数据解析成我们能读懂的格式。
  3. 提取数据:爬虫程序再从中提取出我们需要的数据。
  4. 储存数据:爬虫程序把这些有用的数据保存起来,便于你日后的使用和分析。

入门第一步【requests库】

我们将会利用一个强大的库——requests来获取数据
requests库可以帮我们下载网页源代码、文本、图片,甚至是音频。其实,“下载”本质上是向服务器发送请求并得到响应。
在电脑上安装方法是:
在Mac电脑里打开终端软件(terminal),输入pip3 install requests,然后点击enter即可;
Windows电脑里叫命令提示符(cmd),输入pip install requests 即可。

requests.get( )

import requests                                       #引入requests库
res = requests.get('URL')                       

 #requests.get是在调用requests库中的get()方法,它向服务器发送了一个请求,括号里的参数是你需要的数据所在的网址,然后服务器对请求作出了响应。
#我们把这个响应返回的结果赋值在变量res上。

在这里插入图片描述

requests.get()发送了请求,然后得到了服务器的响应。服务器返回的结果是个Response对象,现在存储到了我们定义的变量res中

Response对象的常用属性:

在这里插入图片描述

【1】response.status_code

import requests 
res = requests.get('https://res.pandateacher.com/2018-12-18-10-43-07.png')
  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值