腾讯测试开发面试总结

昨天接到了秋招以来的第一场面试，面试了腾讯的测试开发岗，自己感觉不是特别好，写此片博客只为总结下此次面试。

以前自己总觉得自己还不错，秋招应该可以找到一份工作，但此次面试对我犹如当头一棒！人不可骄傲，学习是一件终身去完成的事，不要以为自己学会了，就可以做自己可以做的事。记得有个故事：两个人在森林中遇到了一只老虎，那么老虎先吃谁呢？当然是吃跑的慢的。老虎就像这个社会的淘汰法则，你只要比别人慢，或者用程序员的来讲，你的技术只要比别人菜，你就有可能被吃。搞技术开发的，当问题来临时，解决不了，没有什么理由，菜就是原罪。

一、当下都有哪些爬虫技术、与反爬虫手段？

爬虫技术：

1、python自带的urlib2和urlib或者第三方模块request

此种方案适合简单的页面爬虫，比如爬取博客的文章等等，相对于其他的一些高级爬虫来讲，它没有异常处理与请求速度控制等，需要我们取用额外的代码去控制。

2、scrapy框架　

相比urlib等基础爬虫，请求调度、异常处理都已经进行了基础的封装、而且有第三方的csrapy-redis模块支持分布式、使得程序员将重点放在了页面分析与规则编写上面。

3、python selenium和PhantomJS

具有很好的反爬虫技术、可以通过技术手段去模拟出和人非常类似的操作行为，缺点就是速度比较慢、但是爬虫一帮来讲对于速度的要请求不是很高、更注重的是数据的稳定、这种方式对于抓取反爬虫机制做的好的大型网站比较适用

反爬虫技术：

在开始前我先推荐一篇由携程酒店研发部经理写的一篇博文，看完之后对反爬虫有了基本的认识。

1、后台对方问进行统计、如果单个IP访问超过阈值，予以封锁

缺点：容易误伤普通用户并且因为IP的价格较低，使用者完可以买上几十万个IP来爬取信息，因此封锁IP带来的收益与损失不成正比