Java 爬虫工程师

1. 谈爬虫工程师的价值 
    大数据时代已到，数据越来越具有价值了，没有数据寸步难行，有了数据好好利用，可以在诸多领域干很多事，比如很火的互联网金融。从互联网上爬来自己想要的数据，是数据的一个重要来源，而且往往是必不可少的来源。所有，目前，爬虫工程师是一个非常吃香的职位，工资往往都不低，就是要耐得住寂寞了。那爬虫工程师的价值也就是能稳定的、高效的和实时的带来数据。这里推荐看两篇文章：
http://www.hzzx.gov.cn/cshz/content/2014-08/25/content_5417124.htm
http://www.tuicool.com/articles/Fb6fy2f
2. 爬虫（或互联网数据采集）怎么入门
     爬虫可以很快的入门，但要做的真正大神，还必须不断实践。因为，一旦真正爬数据的时候就会出现各种问题，因为爬虫本质是一种对抗性的工作，你需要和反爬人员斗智斗勇。不过，这个过程会充满无穷的乐趣，还会把你锤炼成真正的爬虫高手。
3. 专门为爬虫入门而写的知乎爬虫
     这里，耗费了不少的业余时间，专门为爬虫入门写了一个知乎爬虫。为什么选择知乎呢？应为这里例子可以尽量多的将爬虫涉及的技术点包含进去，同时又不至于那么复杂，方便入门。下面说明知乎爬虫的源码和涉及主要技术点：

模拟登录（爬虫主要技术点1）
    要爬去需要登录的网站数据，模拟登录是必要可少的一步，而且往往是难点。知乎爬虫的模拟登录可以做一个很好的案例。要实现一个网站的模拟登录，需要两大步骤是：