爬虫，渗透，获取数据的方法

随着BIG DATA大数据概念逐渐升温，如何搭建一个可以采集海量数据的架构体系摆在你们眼前。如何可以作到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何知足愈来愈多的数据采集还要在有限时间内采集。这篇文章结合咱们自身项目经验谈一下。css

咱们来看一下做为人是怎么获取网页数据的呢？html

一、打开浏览器，输入网址url访问页面内容。
二、复制页面内容的标题、做者、内容。
三、存储到文本文件或者excel。java

从技术角度来讲整个过程主要为 网络访问、扣取结构化数据、存储。咱们看一下用java程序如何来实现这一过程。web

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

import  java.io.IOException ; import  org.apache.commons.httpclient.HttpClient ; import  org.apache.commons.httpclient.HttpException ; import  org.apache.commons.httpclient.HttpStatus ; import  org.apache.commons.httpclient.methods.GetMethod ; import  org.apache.commons.lang.StringUtils ; public  class HttpCrawler  {         public  static  void main ( String [ ] args )  {              String content  =  null  ;               try  {                   HttpClient httpClient  =  new HttpClient ( ) ;                     //一、网络请求                   GetMethod method  =  new GetMethod ( "http://www.baidu.com"  ) ;                     int statusCode  = httpClient. executeMethod (method ) ;                     if  (statusCode  == HttpStatus.  SC_OK )  {                         content  = method. getResponseBodyAsString ( ) ;                           //结构化扣取                          String title  = StringUtils. substringBetween (content,  "<title>" ,  "</title>"  ) ;                           //存储                          System.  out . println (title ) ;                    }              }  catch  (HttpException e )  {                   e. printStackTrace ( ) ;              }  catch  ( IOException e )  {                   e. printStackTrace ( ) ;              }  finally  {              }        } }

经过这个例子，咱们看到经过httpclient获取数据，经过字符串操做扣取标题内容，而后经过system.out输出内容。你们是否是感受作一个爬虫也仍是蛮简单呢。这是一个基本的入门例子，咱们再详细介绍怎么一步一步构建一个分布式的适用于海量数据采集的爬虫框架。ajax

整个框架应该包含如下部分，资源管理、反监控管理、抓取管理、监控管理。看一下整个框架的架构图：正则表达式

• 资源管理指网站分类体系、网站、网站访问url等基本资源的管理维护；

• 反监控管理指被访问网站（特别是社会化媒体）会禁止爬虫访问，怎么让他们不能监控到咱们的访问时爬虫软件，这就是反监控机制了；

一个好的采集框架，无论咱们的目标数据在哪儿，只要用户可以看到都应该能采集到。所见即所得的无阻拦式采集，不管是否须要登陆的数据都可以顺利采集。如今大部分社交网站都须要登陆，为了应对登陆的网站要有模拟用户登陆的爬虫系统，才能正常获取数据。不过社会化网站都但愿本身造成一个闭环，不肯意把数据放到站外，这种系统也不会像新闻等内容那么开放的让人获取。这些社会化网站大部分会采起一些限制防止机器人爬虫系统爬取数据，通常一个帐号爬取不了多久就会被检测出来被禁止访问了。那是否是咱们就不能爬取这些网站的数据呢？确定不是这样的，只要社会化网站不关闭网页访问，正常人可以访问的数据，咱们也能访问。说到底就是模拟人的正常行为操做，专业一点叫“反监控”。算法

那通常网站会有什么限制呢？chrome

必定时间内单IP访问次数，没有哪一个人会在一段持续时间内过快访问，除非是随意的点着玩，持续时间也不会太长。能够采用大量不规则代理IP来模拟。apache

必定时间内单帐号访问次数，这个同上，正常人不会这么操做。能够采用大量行为正常的帐号，行为正常就是普通人怎么在社交网站上操做，若是一我的一天24小时都在访问一个数据接口那就有多是机器人了。浏览器

若是能把帐号和IP的访问策略控制好了，基本能够解决这个问题了。固然对方网站也会有运维会调整策略，说到底这是一个战争，躲在电脑屏幕后的敌我双方，爬虫必需要能感知到对方的反监控策略进行了调整，通知管理员及时处理。将来比较理想应该是经过机器学习算法自动完成策略调整，保证抓取不间断。

• 抓取管理指经过url，结合资源、反监控抓取数据并存储；咱们如今大部分爬虫系统，不少都须要本身设定正则表达式，或者使用htmlparser、jsoup等软件来硬编码解决结构化抓取的问题。不过你们在作爬虫也会发现，若是爬取一个网站就去开发一个类，在规模小的时候还能够接受，若是须要抓取的网站成千上万，那咱们不是要开发成百上千的类。为此咱们开发了一个通用的抓取类，能够经过参数驱动内部逻辑调度。好比咱们在参数里指定抓取新浪微博，抓取机器就会调度新浪微博网页扣取规则抓取节点数据，调用存储规则存储数据，无论什么类型最后都调用同一个类来处理。对于咱们用户只须要设置抓取规则，相应的后续处理就交给抓取平台了。

整个抓取使用了 xpath、正则表达式、消息中间件、多线程调度框架（参考）。xpath 是一种结构化网页元素选择器，支持列表和单节点数据获取，他的好处能够支持规整网页数据抓取。咱们使用的是google插件 XPath Helper，这个玩意能够支持在网页点击元素生成xpath，就省去了本身去查找xpath的功夫，也便于将来作到所点即所得的功能。正则表达式补充xpath抓取不到的数据，还能够过滤一些特殊字符。消息中间件，起到抓取任务中间转发的目的，避免抓取和各个需求方耦合。好比各个业务系统均可能抓取数据，只须要向消息中间件发送一个抓取指令，抓取平台抓完了会返回一条消息给消息中间件，业务系统在从消息中间件收到消息反馈，整个抓取完成。多线程调度框架以前提到过，咱们的抓取平台不可能在同一时刻只抓一个消息的任务；也不可能无限制抓取，这样资源会耗尽，致使恶性循环。这就须要使用多线程调度框架来调度多线程任务并行抓取，而且任务的数量，保证资源的消耗正常。

无论怎么模拟总仍是会有异常的，这就须要有个异常处理模块，有些网站访问一段时间须要输入验证码，若是不处理后续永远返回不了正确数据。咱们须要有机制可以处理像验证码这类异常，简单就是有验证码了人为去输入，高级一些能够破解验证码识别算法实现自动输入验证码的目的。

扩展一下 ：所见即所得咱们是否是真的作到？规则配置也是个重复的大任务？重复网页如何不抓取？

一、有些网站利用js生成网页内容，直接查看源代码是一堆js。 可使用mozilla、webkit等能够解析浏览器的工具包解析js、ajax，不过速度会有点慢。
二、网页里有一些css隐藏的文字。使用工具包把css隐藏文字去掉。
三、图片flash信息。 若是是图片中文字识别，这个比较好处理，可以使用ocr识别文字就行，若是是flash目前只能存储整个url。
四、一个网页有多个网页结构。若是只有一套抓取规则确定不行的，须要多个规则配合抓取。
五、html不完整，不完整就不能按照正常模式去扣取。这个时候用xpath确定解析不了，咱们能够先用htmlcleaner清洗网页后再解析。
六、 若是网站多起来，规则配置这个工做量也会很是大。如何帮助系统快速生成规则呢？首先能够配置规则能够经过可视化配置，好比用户在看到的网页想对它抓取数据，只须要拉开插件点击须要的地方，规则就自动生成好了。另在量比较大的时候可视化仍是不够的，能够先将类型相同的网站归类，再经过抓取的一些内容聚类，能够统计学、可视化抓取把内容扣取出几个版本给用户去纠正，最后确认的规则就是新网站的规则。这些算法后续再讲。
七、对付重复的网页，若是重复抓取会浪费资源，若是不抓须要一个海量的去重判断缓存。判断抓不抓，抓了后存不存，而且这个缓存须要快速读写。常见的作法有bloomfilter、类似度聚合、分类海明距离判断。

• 监控管理指无论什么系统均可能出问题，若是对方服务器宕机、网页改版、更换地址等咱们须要第一时间知道，这时监控系统就起到出现了问题及时发现并通知联系人。

目前这样的框架搭建起来基本能够解决大量的抓取需求了。经过界面能够管理资源、反监控规则、网页扣取规则、消息中间件状态、数据监控图表，而且能够经过后台调整资源分配并能动态更新保证抓取不断电。不过若是一个任务的处理特别大，可能须要抓取24个小时或者几天。好比咱们要抓取一条微博的转发，这个转发是30w，那若是每页线性去抓取耗时确定是很是慢了，若是能把这30w拆分不少小任务，那咱们的并行计算能力就会提升不少。不得不提的就是把大型的抓取任务hadoop话，废话不说直接上图：