[ML] 爬虫入门

1. 爬虫简介

定义: 网络爬虫(又被称为网页蜘蛛), 是一种按照一定的规则(模拟人工登录网页的方式), 自动的抓取万维网信息的程序或者脚本.
原理: 分析过滤HTML代码, 实现对文字图片的抓取.
基本依据: 爬虫获取数据的基本依据是URL.
两种策略: 深度优先(左), 广度优先(右).

2. 为什么需要爬虫

（1）互联网中的数据量大，我们不能人工的去收集数据.
（3）没有数据做实验，是一件很蛋疼的事情.

3. 流程

我们实际浏览网页的过程: 这个过程其实就是用户输入网址之后，经过DNS服务器，找到服务器主机，向服务器发出一个请求，服务器经过解析之后，发送给用户的浏览器 HTML、JS、CSS 等文件，浏览器解析出来，用户便可以看到形形色色的图片了。
因此，用户看到的网页实质是由 HTML 代码构成的，爬虫爬来的便是这些内容，通过分析和过滤这些 HTML 代码，实现对图片、文字等资源的获取。

URL: 统一资源定位符. 互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。URL由三部分组成: ①第一部分是协议(或称为服务方式)。②第二部分是存有该资源的主机IP地址(有时也包括端口号)。③第三部分是主机资源的具体地址，如目录和文件名等。爬虫爬取数据时必须要有一个目标的URL才可以获取数据，因此，它是爬虫获取数据的基本依据.

3. 常用的库

urllib
urllib2
requests

4. python正则表达式

Python正则表达式是一种用来匹配字符串的强有力的武器. 它的设计思想是用一种描述性的语言来给字符串定义一个规则, 凡是符合规则的字符串, 我们就认为它“匹配”了. 否则, 该字符串就是不合法的.

5. 爬虫框架Scrapy

官方文档

---

参考:
[1] Python爬虫入门（1）：综述
[2] 网络爬虫原理