关于网络爬虫未来潜力的分析

爬虫的强大，无可置疑；反爬虫技术也越来约厉害；

比如，中国招投标公共服务平台http://www.cebpubservice.com/

这个网站爬虫完全无法获取任何有效的数据，除非你能入侵到对方的数据库，不过这就是入侵了，是犯罪

 

一方面，网络规则越来越规范，方便了爬虫数据获取和处理

另一方面，网络安全机制，也在掣肘爬虫的发展，所以爬虫的潜力虽然是强大的，但是未来的掣肘会越来越多，而且法律方面也在逐渐覆盖网络区域

 

这不得不让人深思，爬虫技术是否还有前途，如果四五年内没有质的进步的话。