零基础小白如何学习Python爬虫

初学Python爬虫要搞清楚的问题：

• 网络爬虫的定义及其作用
• 爬虫的基本流程有哪些
• Python爬虫学习的几个步骤

一、网络爬虫的概念

1.1 网络爬虫与浏览器的区别：

浏览器是展示数据的, 而网络爬虫是采集数据的。

1.2 网络爬虫的定义及作用

定义：网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端发送网络请求，获取响应数据，一种按照一定的规则，自动地抓取万维网信息的程序或脚本。

作用：从万维网上, 获取我们需要的信息。

二、爬虫的基本流程

2.1 发起请求

通过url向服务器发送requests请求，请求可以包含额外的header信息。

2.2 获取响应内容

如果服务器正常响应，那么将受到一个response，response即为我们所请求的网页内容，可能包含htmljson二进制数据(图片、视频)等。

2.3 解析内容

如果是html代码则可以使用网页解析器进行解析；如果是json数据则可以转换成json对象进行解析；如果是二进制数据则可以保存到文件进行进一步的处理。

2.4 保存数据

可以保存到本地文件，也可以保存到数据库(mysql edismongodb等)。

三、Python爬虫学习的10个步骤

（1）首先学会基本的Python语法知识

（2）学习Python爬虫常用到的几个重要内置库urllib, http等，用于下载网页

（3）学习正则表达式re、BeautifulSoup（bs4）、Xpath（lxml）等网页解析工具

（4）开始一些简单的网站爬取（博主从百度开始的，哈哈），了解爬取数据过程

（5）了解爬虫的一些反爬机制，header，robot，时间间隔，代理ip，隐含字段等

（6）学习一些特殊网站的爬取，解决登录、Cookie、动态网页等问题

（7）了解爬虫与数据库的结合，如何将爬取数据进行储存

（8）学习应用Python的多线程、多进程进行爬取，提高爬虫效率

（9）学习爬虫的框架，Scrapy、PySpider等

（10）学习分布式爬虫（数据量庞大的需求）

四、180分钟学会爬虫入门（含实例）

黑马程序员最新Python教程，8天python从入门到精通，学python看这套就够了_哔哩哔哩_bilibili​www.bilibili.com/video/BV1qW4y1a7fU?spm_id_from=333.999.0.0

视频教程–>黑马程序员180分钟轻松获取疫情数据，Python爬虫入门课

• 了解什么是爬虫
• 掌握requests库的使用
• 掌握BeautifulSoup解析库提取数据
• 掌握正则表达式提取数据
• 掌握是用json模块处理json格式数据
• 掌握疫情爬虫项目的实现
• 了解疫情数据可视化