从零开始学爬虫(6)——爬虫学习流程以及爬虫的作用

一、爬虫学习流程

在第四步中，还可能会涉及到MongoDB（一个介于关系型和非关系型数据库的产品，是非关系型数据库中功能最丰富的、最像关系型数据库的）

二、爬虫的用处

• 大数据时代，获取数据（例如“微指数”网站）
• 获取其他网站的资源(例如百度新闻“news.baidu.com”)
• 模拟人使用网站上的功能（12306抢票、网站上的投票、短信轰炸）

三、爬虫的定义

网络爬虫（网络蜘蛛、网络机器人）就是模拟客户端发送网络请求，接受请求响应，一种按照一定规则，自动地抓取互联网信息的程序。

只要是浏览器能做的事情，原则上爬虫都能做。