python爬虫入门（所有演示代码，均有逐行分析！）

目录

1.爬虫简介

2.版本及库的要求

3.爬虫的框架

4.HTML简介

5.爬虫库及演示

  （1）requests库（网页下载器）

  （2）BeautifulSoup库（网页解析器）

6.爬虫框架补充

  （1）URL管理模块

7.对目标网站进行解析

8.举个栗子

  （1）所需库

  （2）爬取目标

  （3）网页分析

  （4）编写爬虫前的准备

  （5）编写代码

9.参考资料

---

1.爬虫简介

网络爬虫，也称为网页蜘蛛或网络机器人，是一种自动抓取万维网信息的程序或脚本。

爬虫的基本原理是通过模拟人的网络行为，如点击按钮、查看数据等，来获取服务器上的数据。这些数据可以是文本、图片、视频等多种格式。爬虫分为通用爬虫和聚焦爬虫两大类，其中通用爬虫的目标是在保持一定内容质量的情况下爬取尽可能多的站点，如搜索引擎；而聚焦爬虫则主要针对特定对象或网站，有一台指定的爬取路径、数据抽取规则。

此外，爬虫还被广泛应用于多个领域，如数据聚合、舆情分析、网络安全、税务稽查等。

2.版本及库的要求

2.1python使用版本：3.7.9

2.2爬虫所需库

        [1]resquests

        [2]Beautifulsoup4

        [3]selenium

ps：上述库可通过

pip install requests

直接安装，安装完在pycharm新建test.py文件，输入一下代码进行验证，查看库是否安装成功

import requests
from bs4 import BeautifulSoup
import selenium

print("ok")

若安装成功则输出如下图所示：

3.爬虫的框架

(1)   URL管理器：相当于一个数据容器，其中包含待爬取及爬取过的url。

        模块作用：防止爬虫重复爬取页面，或循环爬取陷入死循环中。

（2）网页下载器：用python获取网页的信息。

        模块作用：爬取页面信息。复杂页面的爬取，动态页面，需要登录验证码的页面，或者有一些防御手段禁止爬取的页面，都需要在此模块中解决。（一般网页使用动态加载数据，需要使用到selenium框架解决。）

（3）网页解析器：获取网页下载器下载下来的HTML，提取其中有价值的信息和待爬取的新URL，传输给URL管理器，循环爬取数据。

（4）并发爬取，在爬虫调度端实现。

（5）数据存储，像将数据保存在数据库中，统一在价值数据模块中实现。

        

4.HTML简介

这部分内容简单看一下