了解网络爬虫，网络爬虫到底能做什么

---

---

一、网络爬虫能做什么

什么是爬虫？

爬虫实际上就是一个探测机器，这个探测机器可以把它理解为程序，它的基本操作，就是模拟我们人类的行为，去各个网站溜达，看到数据就带回来，它就像一只虫子在网上不知疲倦的爬来爬去

。

爬虫能做什么?
爬虫的产生就是去爬取互联网上的网站的数据，然后我们对这些数据进行加工，比如进行一个索引操作，在提供给我们做搜索使用，而这个就是爬虫的一个产生过程。

1，爬取网站数据 2，自动化测试 3，做一些可以脱离手动的一些操作，例如帮人投票 4，灰色产业例，例如薅羊毛，做水军等

当然爬虫最主要的作用还是爬取数据，那数据又能做哪些事情呢？

1，聚合产品，例如新闻网站 2，搜索引擎 3，数据分析，人工智能数据源 4，特定领域的数据服务，例如二手车的估值

二、学好爬虫需要哪些知识，又会遇到哪些问题？

爬虫需要哪些知识?

1,计算机网络协议（http/https协议，tcp/ip协议，socke编程）
2，前端基础
3，正则表达式，主要做数据处理
4，数据存储技术（主要是分布式存储）
5，并发处理技术（多线程，多进程，线程池，协程）
6，图像识别（反爬，验证码）机器学习算法（数据解析，验证码）

爬虫中要解决的问题

1，爬虫的采集和更新策略
2，解决反爬问题
3，数据解析问题
4，数据存储问题
5，模拟登录（验证码）
6，爬虫的监控和部署
7，数据的去除（内容去重，url去重）

三、爬虫注意事项

1，做网络爬虫不能毫无节制，比如爬虫如果不去做限速，随时随地的不停的去访问目标网站，实际上会对目标网站造成一个很大的访问压力。
2，robots协议，这个协议主要是目标网站和网络爬虫，共同遵守的一个协议，当然这也是一些大型网站要遵守的协议。
3，法律问题，目标网站实际上它的数据是不希望被其他的爬虫给爬取到的，如果我们去爬取对方不让我们爬的数据，实际上从法律的角度上来讲，是有违法嫌疑的。
4，爬虫不能抓取页面上看不到的数据，爬虫主要是解决重复工作的问题
5，目标网站一般不会随便让别人爬取自己的数据，会做反爬处理