Python爬虫入门教程，小白也能轻松学好

1 兴趣引入

本文会带领大家了解爬虫是什么，爬虫的基本原理。非常简单，小白也能看懂。如果看不懂就直接躺平算了。（哈哈哈）

爬⾍，从本质上来说，就是利⽤程序在⽹上拿到对我们有价值的数据。

2 基本原理

2.1 浏览器⼯作原理

（1）解析数据： 当服务器把数据响应给浏览器之后，浏览器并不会直接把数据丢给我们。因为这些数据是⽤计算机的语⾔写的，浏览器还要把这些数据翻译成我们能看得懂的内容；
（2）提取数据： 我们就可以在拿到的数据中，挑选出对我们有⽤的数据；
（3）存储数据： 将挑选出来的有⽤数据保存在某⼀⽂件/数据库中。

2.2 爬⾍⼯作原理

（1）获取数据：爬⾍程序会根据我们提供的⽹址，向服务器发起请求，然后返回数据；
（2）解析数据：爬⾍程序会把服务器返回的数据解析成我们能读懂的格式；
（3）提取数据：爬⾍程序再从中提取出我们需要的数据；
（4）储存数据：爬⾍程序把这些有⽤的数据保存起来，便于你⽇后的使⽤和分析。

3 爬虫步骤

下面我们对上图进行详细分析与讲解。

3.1 requests.get()

3.1.1 安装 requests 库

(1) Mac电脑⾥打开终端软件（terminal），输⼊pip3 install requests，然后点击 enter；
(2) Windows电脑⾥叫命令提示符（cmd），输⼊pip install requests 。

提示：往后安装其他库时与上⽅类似，pip install 模块名

3.1.2 requests 库作⽤

requests 库可以帮我们下载⽹⻚源代码、⽂本、图⽚，甚⾄是⾳频。其实，“下 载”本质上是

向服务器发送请求并得到响应。

3.1.3 requests 库使⽤

res = requests.get('URL')

requests.get 是在调⽤requests库中的get()⽅法，它向服务器发送了⼀个请求，括号⾥的参

数是你需要的数据所在的⽹址，然后服务器对请求作出了响应。我们把这个 响应返回的结果

赋值在变量res上。

3.2 Response对象的常⽤属性

3.2.1 response.status_code

打印 response 的响应状态码，以检查请求是否成功。

3.2.2 response.content

把 Response 对象的内容以⼆进制数据的形式返回，适⽤于图⽚、⾳频、视频的下载。

3.2.3 response.text

把 Response 对象的内容以字符串的形式返回，适⽤于⽂字、⽹⻚源代码的下载。

3.2.3 response.encoding

能帮我们定义Response对象的编码。（遇上⽂本的乱码问题，才考虑⽤ res.encoding）

计算机系统及编程语言（底层思维）

4 爬⾍伦理

4.1 Robots 协议

Robots 协议是互联⽹爬⾍的⼀项公认的道德规范，它的全称是“⽹络爬⾍排除标准”（Robots exclusion protocol），这个协议⽤来告诉爬⾍，哪些⻚⾯是可以抓取的，哪些不可以。

4.2 协议查看

（1）在⽹站的域名后加上/robots.txt就可以了。如淘宝的robots协议 （ http://www.taobao.com/robots.txt）；

（2）协议⾥最常出现的英⽂是Allow和Disallow，Allow代表可以被访问，Disallow代表禁⽌被访问。

---

如果对Python爬虫感兴趣的话，可以试试我整理的这份Python全套学习资料

对于0基础小白入门：

如果你是零基础小白，想快速入门Python是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。 二方面是可以找到适合自己的学习方案

学习资源推荐

除了上述分享，如果你也喜欢编程，想通过学习Python获取更高薪资，这里给大家分享一份Python学习资料。

这里给大家展示一下我进的最近接单的截图

😝朋友们如果有需要的话，可以点击下方链接领取或者V扫描下方二维码联系领取，也可以内推兼职群哦~

🎁 CSDN大礼包，二维码失效时，点击这里领取👉：【学习资料合集&相关工具&PyCharm永久使用版获取方式】

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

1.Python学习路线

2.Python基础学习

01.开发工具

02.学习笔记

03.学习视频

3.Python小白必备手册

4.数据分析全套资源

5.Python面试集锦

01.面试资料

02.简历模板

🎁 CSDN大礼包，二维码失效时，点击这里领取👉：【学习资料合集&相关工具&PyCharm永久使用版获取方式】

因篇幅有限，仅展示部分资料，添加上方即可获取👆
------ 🙇‍♂️ 本文转自网络，如有侵权，请联系删除 🙇‍♂️ ------