1. 爬虫简介
定义: 网络爬虫(又被称为网页蜘蛛), 是一种按照一定的规则(模拟人工登录网页的方式), 自动的抓取万维网信息的程序或者脚本.
原理: 分析过滤HTML代码, 实现对文字图片的抓取.
基本依据: 爬虫获取数据的基本依据是URL.
两种策略: 深度优先(左), 广度优先(右).
2. 为什么需要爬虫
(1)互联网中的数据量大,我们不能人工的去收集数据.
(3)没有数据做实验,是一件很蛋疼的事情.
3. 流程
我们实际浏览网页的过程: 这个过程其实就是用户输入网址之后,经过DNS服务器,找到服务器主机,向服务器发出一个请求,服务器经过解析之后,发送给用户的浏览器 HTML、JS、CSS 等文件,浏览器解析出来,用户便可以看到形形色色的图片了。
因此,用户看到的网页实质是由 HTML 代码构成的,爬虫爬来的便是这些内容,通过分析和过滤这些 HTML 代码,实现对图片、文字等资源的获取。
URL: 统一资源定位符. 互联网上的每个文件都有一个唯一的URL,它包含的信息指出文件的位置以及浏览器应该怎么处理它。URL由三部分组成: ①第一部分是协议(或称为服务方式)。②第二部分是存有该资源的主机IP地址(有时也包括端口号)。③第三部分是主机资源的具体地址,如目录和文件名等。爬虫爬取数据时必须要有一个目标的URL才可以获取数据,因此,它是爬虫获取数据的基本依据.
3. 常用的库
urllib
urllib2
requests
4. python正则表达式
Python正则表达式是一种用来匹配字符串的强有力的武器. 它的设计思想是用一种描述性的语言来给字符串定义一个规则, 凡是符合规则的字符串, 我们就认为它“匹配”了. 否则, 该字符串就是不合法的.
5. 爬虫框架Scrapy
参考:
[1] Python爬虫入门(1):综述
[2] 网络爬虫原理