爬取各大新闻网站所有新闻

如何通过爬虫爬取各大新闻网站过去一段时间内的所有新闻？
想利用word2vec训练一个同义词模型，准备采用新闻数据做为语料库。
但在爬取新闻的过程中发现，现在主流的新闻网站基本都是采用滚动式的新闻加载方式，也就是你鼠标滚轮一直向下拉就会不停的加载新的新闻出来。通过这种方式找到的数据接口（例如网易的 http://3g.163.com/touch/jsonp/sy/recommend/10-10.html），只能爬到最近的1000篇新闻
对应于鼠标滚轮滚到后最后就不会再加载新的新闻出来了，量太少了。