爬虫小白的第一天

今天正式开始进入爬虫的学习

首先让我们认识一下爬虫，什么是爬虫？爬虫有那些种类？为什么要用python写爬虫？

 

什么是爬虫？

一般来说，爬虫就是一个模拟人类请求网站的行为程序。可以自动请求网站、下载数据，并按照一定的规则提取有价值的数据信息。

例如，搜索引擎，百度、必应、谷歌都是这样的

 

爬虫的种类

通用爬虫和聚焦爬虫：

1. 通用爬虫：通用爬虫是搜索引擎抓取系统（百度、谷歌、搜狗等）的重要组成部分。主要是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。
2. 聚焦爬虫：是面向特定需求的一种网络爬虫程序，他与通用爬虫的区别在于：聚焦爬虫在实施网页抓取的时候会对内容进行筛选和处理，尽量保证只抓取与需求相关的网页信息。

 

为什么要用python写爬虫？

1. PHP：PHP是世界是最好的语言，但他天生不是做这个的，而且对多线程、异步支持不是很好，并发处理能力弱。爬虫是工具性程序，对速度和效率要求比较高。
2. Java：生态圈很完善，是Python爬虫最大的竞争对手。但是Java语言本身很笨重，代码量很大。重构成本比较高，任何修改会导致代码大量改动。爬虫经常要修改采集代码。
3. C/C++：运行效率是无敌的。但是学习和开发成本高。写个小爬虫程序可能要大半天时间。
4. Python：语法优美、代码简洁、开发效率高、支持的模块多。相关的HTTP请求模块和HTML解析模块非常丰富。还有Scrapy和Scrapy-redis框架让我们开发爬虫变得异常简单。

转载于:https://www.cnblogs.com/garrett0220/p/10156582.html