爬虫-01-什么是爬虫

什么是爬虫？

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

关于Python爬虫，我们需要学习的有：

1. Python基础语法学习（基础知识）

2. HTML页面的内容抓取（数据抓取）

3. HTML页面的数据提取（数据清洗）

4. Scrapy框架以及scrapy-redis分布式策略（第三方框架）

6. 爬虫(Spider)、反爬虫(Anti-Spider)、反反爬虫(Anti-Anti-Spider)之间的斗争....

通用爬虫和聚焦爬虫
通用爬虫
通用搜索引擎（Search Engine）工作原理
第一步：抓取网页
搜索引擎如何获取一个新网站的URL：
1. 新网站向搜索引擎主动提交网址：（如百度http://zhanzhang.baidu.com/linksubmit/url）
2. 在其他网站上设置新网站外链（尽可能处于搜索引擎爬虫爬取范围）
3. 搜索引擎和DNS解析服务商(如DNSPod等）合作，新网站域名将被迅速抓取。
第二步：数据存储
第三步：预处理

• 提取文字

• 中文分词

• 消除噪音（比如版权声明文字、导航条、广告等……）

• 索引处理

• 链接关系计算

• 特殊文件处理

• ....

第四步：提供检索服务，网站排名

根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种.

通用网络爬虫 是 捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。

通用网络爬虫 从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果。

搜索引擎网络爬虫的基本工作流程如下：

1. 首先选取一部分的种子URL，将这些URL放入待抓取URL队列；

2. 取出待抓取URL，解析DNS得到主机的IP，并将URL对应的网页下载下来，存储进已下载网页库中，并且将这些URL放进已抓取URL队列。

3. 分析已抓取URL队列中的URL，分析其中的其他URL，并且将URL放入待抓取URL队列，从而进入下一个循环....

但是搜索引擎蜘蛛的爬行是被输入了一定的规则的，它需要遵从一些命令或文件的内容，如标注为nofollow的链接，或者是Robots协议。

Robots协议（也叫爬虫协议、机器人协议等），全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，例如：

淘宝网：https://www.taobao.com/robots.txt

腾讯网： http://www.qq.com/robots.txt

搜索引擎通过爬虫爬取到的网页，将数据存入原始页面数据库。其中的页面数据与用户浏览器得到的HTML是完全一样的。

搜索引擎蜘蛛在抓取页面时，也做一定的重复内容检测，一旦遇到访问权重很低的网站上有大量抄袭、采集或者复制的内容，很可能就不再爬行。

搜索引擎将爬虫抓取回来的页面，进行各种步骤的预处理。

除了HTML文件外，搜索引擎通常还能抓取和索引以文字为基础的多种文件类型，如 PDF、Word、WPS、XLS、PPT、TXT 文件等。我们在搜索结果中也经常会看到这些文件类型。

但搜索引擎还不能处理图片、视频、Flash 这类非文字内容，也不能执行脚本和程序。

搜索引擎在对信息进行组织和处理后，为用户提供关键字检索服务，将用户检索相关的信息展示给用户。

同时会根据页面的PageRank值（链接的访问量排名）来进行网站排名，这样Rank值高的网站在搜索结果中会排名较前，当然也可以直接使用 Money 购买搜索引擎网站排名，简单粗暴。

一、"大数据时代"，数据获取的方式：

1. 企业生产的用户数据：大型互联网公司有海量用户，所以他们积累数据有天然的优势。
                有数据意识的中小型企业，也开始积累的数据。
2. 数据管理咨询公司：通常这样的公司有很庞大的数据采集团队，一般会通过市场调研、问卷调查、固定的样本检测，
        和各行各业的公司进行合作、专家对话（数据积累很多年了，最后得出科研结果）来采集数据。
3. 政府/机构提供的公开数据：政府通过各地政府统计上报的数据进行合并；机构都是权威的第三方网站。
4. 第三方数据平台购买数据：通过各个数据交易平台来购买各行各业需要的数据，根据获取难度不同，价格也会不同。
5. 爬虫爬取数据：如果市场上没有我们需要的数据，或者价格太高不愿意买，那么就可以招/做一个爬虫工程师，从互联网上定向采集数据。

二、什么是爬虫？
爬虫：就是抓取网页数据的程序。

三、爬虫怎么抓取网页数据：
网页三大特征：
-1. 网页都有自己唯一的URL（统一资源定位符）来进行定位
-2. 网页都使用HTML （超文本标记语言）来描述页面信息。
-3. 网页都使用HTTP/HTTPS（超文本传输协议）协议来传输HTML数据。

爬虫的设计思路：
-1. 首先确定需要爬取的网页URL地址。
-2. 通过HTTP/HTTP协议来获取对应的HTML页面。
-3. 提取HTML页面里有用的数据：
    a. 如果是需要的数据，就保存起来。
    b. 如果是页面里的其他URL，那就继续执行第二步。

四、为什么选择Python做爬虫？
可以做爬虫的语言有很多，如 PHP、Java、C/C++、Python等等...
- PHP 虽然是世界上最好的语言，但是他天生不是干这个的，而且对多线程、异步支持不够好，并发处理能力很弱。
            爬虫是工具性程序，对速度和效率要求比较高。
- Java 的网络爬虫生态圈也很完善，是Python爬虫最大的对手。但是Java语言本身很笨重，代码量很大。
    重构成本比较高，任何修改都会导致代码的大量变动。爬虫经常需要修改部分采集代码。
- C/C++ 运行效率和性能几乎最强，但是学习成本很高，代码成型比较慢。
        能用C/C++做爬虫，只能说是能力的表现，但是不是正确的选择。
- Python 语法优美、代码简洁、开发效率高、支持的模块多，相关的HTTP请求模块和HTML解析模块非常丰富。
        还有强大的爬虫Scrapy，以及成熟高效的 scrapy-redis分布式策略。
        而且，调用其他借口也非常方便（胶水语言）

-2. 如何抓取HTML页面：
        HTTP请求的处理，urllib、urllib2、requests
        处理后的请求可以模拟浏览器发送请求，获取服务器响应的文件

-3. 解析服务器响应的内容
        re、xpath、BeautifulSoup4（bs4）、jsonpath、pyquery等
        使用某种描述性一样来给我们需要提取的数据定义一个匹配规则，
        符合这个规则的数据就会被匹配。

-4. 如何采集动态HTML、验证码的处理
    通用的动态页面采集：Selenium + PhantomJS(无界面)：模拟真实浏览器加载js、ajax等非静态页面数据
    Tesseract：机器学习库，机器图像识别系统，可以处理简单的验证码，复杂的验证码可以通过手动输入/专门的打码平台

-5 Scrapy框架：（Scrapy，Pyspider）
    高定制性高性能（异步网络框架twisted），所以数据下载速度非常快，
    提供了数据存储、数据下载、提取规则等组件。

-6 分布式策略 scrapy-reids：
    scrapy-redis，在Scrapy的基础上添加了一套以 Redis 数据库为核心的组件。
        让Scrapy框架支持分布式的功能，主要在Redis里做 请求指纹去重、请求分配、数据临时存储。

-7 爬虫 - 反爬虫 - 反反爬虫 之间的斗争：
    其实爬虫做到最后，最头疼的不是复杂的页面，也是晦涩的数据，而是网站另一边的反爬虫人员。
    User-Agent、代理、验证码、动态数据加载、加密数据。
    数据价值，是否值的去费劲做反爬虫。
    1. 机器成本 + 人力成本 > 数据价值，就不反了，一般做到封IP就结束了。
    2. 面子的战争....
    爬虫和反爬虫之间的斗争，最后一定是爬虫获胜！
    为什么？只要是真实用户可以浏览的网页数据，爬虫就一定能爬下来！

六、根据使用场景：分为 通用爬虫  聚焦爬虫
1.通用爬虫：搜索引擎用的爬虫系统。
-1目标：就是尽可能把互联网上所有的网页下载下来，放到本地服务器里形成备份，
        再对这些网页做相关处理（提取关键字、去掉广告），最后提供一个用户检索接口。

-2抓取流程：

    a) 首选选取一部分已有的URL，把这些URL放到待爬取队列。
    b) 从队列里取出这些URL，然后解析DNS得到主机IP，然后去这个IP对应的服务器里下载HTML页面，保存到搜索引擎的本地服务器。
        之后把这个爬过的URL放入已爬取队列。
    c) 分析这些网页内容，找出网页里其他的URL连接，继续执行第二步，直到爬取条件结束。
-3 搜索引擎如何获取一个新网站的URL：
    1. 主动向搜索引擎提交网址：http://zhanzhang.baidu.com/linksubmit/url
    2. 在其他网站里设置网站的外链。
    3. 搜索引擎会和DNS服务商进行合作，可以快速收录新的网站。
    DNS：就是把域名解析成IP的一种技术。
-4 通用爬虫并不是万物皆可爬，它也需要遵守规则：
Robots协议：协议会指明通用爬虫可以爬取网页的权限。
Robots.txt 只是一个建议。并不是所有爬虫都遵守，一般只有大型的搜索引擎爬虫才会遵守。
    咱们个人写的爬虫，就不管了。
-5 通用爬虫工作流程：爬取网页 - 存储数据 - 内容处理 - 提供检索/排名服务
-6 搜索引擎排名：
    1. PageRank值：根据网站的流量（点击量/浏览量/人气）统计，流量越高，网站也越值钱，排名越靠前。
    2. 竞价排名：谁给钱多，谁排名就高。
-7 通用爬虫的缺点：
    1. 只能提供和文本相关的内容（HTML、Word、PDF）等等，但是不能提供多媒体文件（音乐、图片、视频）和二进制文件（程序、脚本）等等。
    2. 提供的结果千篇一律，不能针对不同背景领域的人提供不同的搜索结果。
    3. 不能理解人类语义上的检索。


为了解决这个问题，聚焦爬虫出现了：
聚焦爬虫：爬虫程序员写的针对某种内容的爬虫。
面向主题爬虫，面向需求爬虫：会针对某种特定的内容去爬取信息，而且会保证信息和需求尽可能相关。
Python自带的模块：/usr/lib/python2.7/urllib2.py
Python的第三方模块： /usr/local/lib/python2.7/site-packages
urllib2 默认的 User-Agent：Python-urllib/2.7
User-Agent: 是爬虫和反爬虫斗争的第一步，养成好习惯，发送请求带User-Agent
response 是服务器响应的类文件，除了支持文件操作的方法外，还支持以下常用的方法：
# 返回 HTTP的响应码，成功返回200，4服务器页面出错，5服务器问题
print response.getcode()
# 返回 返回实际数据的实际URL，防止重定向问题
print response.geturl()
# 返回 服务器响应的HTTP报头
print response.info()

urllib 的 urlencode() 接收的参数是一个字典：
wd = {"wd" : "传智播客"}
urllib.urlencode(wd)
结果：wd=%E4%BC%A0%E6%99%BA%E6%92%AD%E5%AE%A2

Get 和 Post请求的区别：
Get : 请求的url会附带查询参数，
POST：请求的url不带参数
对于Get请求：查询参数在QueryString里保存
对于Post请求：查询参数在Form表单里保存

做爬虫最需要关注的不是页面信息，而是页面信息的数据来源。
AJAX 方式加载的页面，数据来源一定是JSON
拿到JSON，就是拿到了网页的数据