baeiou的专栏

原创 我的java数据抓取经验

<br />本人担任职友集的java工程师五年，其中抓取数据占主要的一部分，抓取的信息只要有两部分，职位和简历，其中职位的抓取量为日均插入量为30万，更新量为60万，抓取全国300多个人才网站。职友集（现在改名为跳哪网）现在是全国职位量最高的垂直搜索引擎。月均广告收入约20万左右。当然这是经过我们团队的努力。 <br />    我们在职位抓取方面是下了很大的一番功夫，使我们的职位量无法被人超越，首先现在很多人才网站为人防止其它网站抓取它的信息，都在封IP,尤其是中华英才网，我们为了向我们的用户