1.1-python爬虫及目录

系列文章目录

第一章：网络请求

1. python爬虫及目录
2. http协议和Chrome抓包工具
3. urllib库和cookie
4. requests库

第二章：数据提取

1. xpath语法与lxml库
2. BeautifulSoup4库
3. 正则表达式和re模块

第三章：数据存储

1. 文件存储
2. 数据库存储

第四章：爬虫进阶

1. 多线程爬虫
2. 动态网页数据爬虫
3. 图形验证码识别

第五章：Scrapy框架

1. Scrapy框架及入门
2. CrawlSpider&Scrapy Shell&Request和Response对象
3. 下载文件图片及中间件
4. settings配置信息
5. Scrapy爬虫实战

---

---

前言

摘录自B站对应课程笔记
不愧是清华大佬！把Python网络爬虫讲得如此简单明了！从入门到精通保姆级教程（建议收藏）

以下是本篇文章正文内容，下面案例可供参考

---

一、爬虫的实际例子

1. 搜索引擎（百度、谷歌、360搜索等）。
2. 伯乐在线。
3. 惠惠购物助手。
4. 数据分析与研究（数据冰山知乎专栏）。
5. 抢票软件等。

二、什么是网络爬虫

1. 通俗理解：爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并数据抓取下来，然后使用一定的规则提取有价值的数据。
2. 专业介绍：百度百科。

三、通用爬虫和聚焦爬虫

1. 通用爬虫：通用爬虫是搜索引擎抓取系统（百度、谷歌、搜狗等）的重要组成部分。主要是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。
2. 聚焦爬虫：是面向特定需求的一种网络爬虫程序，他与通用爬虫的区别在于：聚焦爬虫在实施网页抓取的时候会对内容进行筛选和处理，尽量保证只抓取与需求相关的网页信息。

四、为什么用Python写爬虫程序

• PHP：PHP是世界是最好的语言，但他天生不是做这个的，而且对多线程、异步支持不是很好，并发处理能力弱。爬虫是工具性程序，对速度和效率要求比较高。
• Java：生态圈很完善，是Python爬虫最大的竞争对手。但是Java语言本身很笨重，代码量很大。重构成本比较高，任何修改会导致代码大量改动。爬虫经常要修改采集代码。
• C/C++：运行效率是无敌的。但是学习和开发成本高。写个小爬虫程序可能要大半天时间。 Python：语法优美、代码简洁、开发效率高、支持的模块多。相关的HTTP请求模块和HTML解析模块非常丰富。还有Scrapy和Scrapy-redis框架让我们开发爬虫变得异常简单。

五、准备工具

1. python3开发环境
2. pycharm
3. 虚拟环境