从零开始学python（十三）爬虫工程师自动化和抓包

前言

回顾之前讲述了python语法编程 必修入门基础和网络编程，多线程/多进程/协程等方面的内容，后续讲到了数据库编程篇MySQL，Redis，MongoDB篇，和机器学习，全栈开发，数据分析，爬虫数据采集前面没看的也不用往前翻，系列文已经整理好了：

1.跟我一起从零开始学python（一）编程语法必修
2.跟我一起从零开始学python（二）网络编程
3.跟我一起从零开始学python（三）多线程/多进程/协程
4.跟我一起从零开始学python（四）数据库编程：MySQL数据库
5.跟我一起从零开始学python（五）数据库编程：Redis数据库
6.跟我一起从零开始学python（六）数据库编程：MongoDB数据库
7.跟我一起从零开始学python（七）机器学习
8.跟我一起从零开始学python（八）全栈开发
9.跟我一起从零开始学python（九）数据分析
10.跟我一起从零开始学python（十）Hadoop从零开始入门
11.跟我一起从零开始学python（十一）简述spark
12.跟我一起从零开始学python（十二）如何成为一名优秀的爬虫工程师

本系列文根据以下学习路线展开讲述，由于内容较多，：

从零开始学python到高级进阶路线图

适用于零基础学习和进阶人群的python资源：

① 腾讯认证python完整项目实战教程笔记PDF
② 十几个大厂python面试专题PDF
③ python全套视频教程（零基础-高级进阶JS逆向）
④ 百个项目实战+源码+笔记
⑤ 编程语法-机器学习-全栈开发-数据分析-爬虫-APP逆向等全套项目+文档

自动化和抓包专题

一丶selenium采集

之前通过selenium实现过抢演唱会门票，感兴趣的可以看看
通过selenium自动化实现演唱会抢门票

Selenium是一种流行的自动化Web测试工具，它可以模拟人类用户在浏览器中的行为，适合用于构建自动化爬虫。本专题将介绍如何使用Selenium进行自动化爬取，并讲解如何通过抓包获取网页数据。

1.Selenium介绍

Selenium是一种开源的自动化测试工具，它可以模拟人类用户在浏览器中的行为，例如点击链接、填写表单、提交数据等等。Selenium支持多种编程语言的接口，包括Python、Java、JavaScript等等。对于爬虫工程师来说，使用Selenium可以方便地构建自动化爬虫，模拟人类用户在浏览器中的操作，从而获取数据。

2.Selenium的安装

Selenium可以通过pip安装，使用以下命令：