入门学爬虫基础了解

$爬虫$

一、什么是爬虫

网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。

原则上，只要是浏览器（客户端）能做的事情，爬虫都能够做

二、怎么获取到爬虫

两种方式

• 1、下载其他公司开发的通用的爬虫（像八爪鱼）

• 2、自己人员自己编写

三、区别

1、$其他公司开发的通用爬虫$

它是个通用的，也就意味着对于特殊数控的提取往往咩有实现，如果是爬虫一般的普通数据还是可以的

2、$开发人员自己开发的爬虫$

目的性很强，即这个爬虫（代码）是爬取是爬取腾讯新闻 等等

四、开发语言

其实只要能够发送HTTP（s）请求的任何编程语言都是可以做爬虫的，像C语言、C++、java、php、js等那为什么一般情况下提到爬虫、一般都默认指python编程语言呢？

因为：python编程语言简洁、有大量现成的模块供我们使用，因此虽然java也能做爬虫，但是它们写100行代码时，我们用python写10行就行了，所以做爬虫还是使用python会较为方便。

五、爬虫的分类

根据被爬网站的数量的不同，我们把爬虫分类为：

1、通用爬虫：通常指搜索引擎的爬虫，例如：https：www.baidu.com

2、聚集爬虫：针对特定网站的爬虫

也就是说，我们要做的是 聚焦爬虫（也叫定向爬虫）

六、爬虫的流程

1、向起始url发送请求，并获取响应
2、对响应进行提取
3、如果提取url，则继续发送请求获取响应
4、如果提取数据，则将数据进行保持

$注意：$

分析要下载资源的URL过程是最耗时间、最复杂的地方，只要分析成功，剩下的就是写代码实现你想要的逻辑而已。