火车头采集细节（一）

1.采集页面：http://news.ifeng.com/rt-channel/rtlist_20150408/2.shtml（凤凰即时网）

1).按页数采集
2).按日期采集
3).自定义采集

 

 

2.薄荷网获取采集内容
http://www.boohee.com/food/
1)自动获取
2)手动获取

 

 

 

3.多级获取，深层爬去

 

4.分页设计

 

5.内容截取方式
1)前后文截取
2)正则截取
3)正文截取
4)Xpath，json截取