反爬虫

反爬虫策略

因为搜索引擎的流行，网络爬虫已经成了很普及网络技术， 

相当部分国内爬虫不遵守robots协议。

1234参考：http://blog.csdn.net/huaweitman/article/details/9714981

5678910原创：参考，http://www.huaworm.com 网页宝: 反爬虫,能尊重信息提供者的意愿的内容保护方案rob

--------------------------

1、手工识别和拒绝爬虫的访问

2、通过识别爬虫的User-Agent信息来拒绝爬虫

3、通过网站流量统计系统和日志分析来识别爬虫

4、网站的实时反爬虫防火墙实现策z

 也上参考：http://blog.csdn.net/huaweitman/article/details/9714981

 也下原创：参考，http://www.huaworm.com 网页宝: 反爬虫,能尊重信息提供者的意愿的内容保护方案robot

5、通过JS算法，文字经过一定转换后才显示出来，容易被破解。某技术网站采用了这种方法

6、通过CSS隐藏技术，可见的页面样式和HTML里DIV结构不同，增加了爬虫的难度，同时增加自己的维护难度。

技术网站采用了这种方法

7、通过JS不让用户复制，这对非专业人员有效，对技术人员/工程师来说，没有任何效果。不少网站采用。

8、通过flash等插件技术（会被破解，同时对用户不友好，有流失用户的可能性）。早期网站用得多，移动互联网来后，这种方式对用户不友好，少有专业网站采用了。

9、图片化

A:将文字图片化，增加了维护成本，和移动端的可读性

B:将标点符号图片化，再适当增加CSS混淆，这是一种较好的办法，不影响搜索引擎收录，不影响用户使用。但影响爬虫，是一种较好的反爬虫方式，某著名的文学网站采用了这种方法

10、交给专业公司处理

流程 

1混淆设计器 ---->产生混淆素材
2混淆素材--->将服务器端文字变成不可阅读文字
3网络传输--->不可阅读文字+混淆素材
4浏览器-->绘制阶段显示可读文字
5浏览者能看见内容 
但是无能有效复制，无法通过底层协议抓取
6混淆算法随时改变，只需要放入新素材就可以了，不需要工程师参与。 

技术点 
依靠文字矩阵变换来提高蜘蛛爬虫软件抓取的代价.  

1:依靠文字矩阵变换
什么是文字矩阵变换?
 线性变换/非线性变换
 让传输文字和显示文字有差异,使得所见不容易所得.
为什么不是验证码方式?
A验证码方式主要用于专有信息,比如机器暴力抓取个人信息
B验证码影响用户体验
为什么不把文字转为图片方式?
a动态信息,如评论,变成图片,会增加网站的复杂度和维护成本
b图片负载太多文字会不清晰,因为现代浏览器和显示器对文字的显示做了处理.


亮点
由发布人员，而不是技术人员来更新混淆算法（防非授权抓取）。
保护方:内容保护的方法素材易复制,易部署和运营
抓取/窃取方:面对对方快速变化,增加了成本
专门工程师来搞