duanhengbin的专栏

原创 用Scala打造精悍爬虫（一）游记篇

分享一下前段学习Scala做的一个爬虫程序。 【关于爬虫】接触爬虫的时间并不长，发现python在这个领域有很大的份额。虽然也用过python，但是始终觉得动态语言做这种“严谨“工作还是不如Java，当然更没法和Scala比。总结一下爬虫的主要困难：痛点1：网断，大量爬取时，各种超时错是司空见惯，需要有良好的重试机制防止被打断。痛点2：验证码，一般大网站都有反爬机制，当...