爬虫记忆——起因

        2015年初，眼看还剩几个月就要毕业了，可是我还没有找工作，周围很多同学都已开始实习，慢性子的我一下子也开始有点着急了，所以赶紧准备简历，海投出去，到处面试。不久，便收到了一份创业公司的offer，我这人比较懒，而且一开始也只是当作实习工作而已，便不再去其他面试了，直接进入了这家公司，可是，真的万万没想到，这份工作我竟然从实习开始一直做到现在，公司从当初的不到10人的“小作坊”，到现在初具规模，一路走来，也是不容易。

        现在回想过去的几年，我的工作内容有很大一部分和爬虫相关，不仅包括爬虫程序，还包含了与爬虫配套的监控系统、配置系统、任务系统、调度系统等等，也和同事一起，开发了我们自己的爬虫框架，经过了多次大版本升级，现在的爬虫框架也算是比较强大了，我们使用Java来编写爬虫及其配套系统，这在当前python当道的时代，好像显得有点“非主流”，但是语言只是个工具，能把它用好才是关键，由于现在Java爬虫的资料并不是很多，所以我也打算加入分享Java爬虫的大军，结合自己这几年的一点点经验，做出一点点微小的贡献。

        接下去的一段时间里，我会不定期的就爬虫甚至其配套系统写一些文章，并将其整理成一个系列，希望对爬虫初学者有一些帮助，或者能给爬虫程序员一些启发，如果有不合理的地方，也希望大家能指出来，一起讨论（说得好像这博客有人看一样，