最近尝试了用: Python + urllib + Re爬取某大型网站数据(百万网页以上),中途碰到问题不少,粗略记录下: 1. 写一个正确的正则表达式:网页很多时,初版的正则可能会在爬中间某个网页时失效; 2. 对多样异常的处理:最开始对异常可能考虑不全面,后面抓的过程会碰到更多奇奇怪怪的 http异常,导致进程死掉; 3. 分片处理:当数据规模很大时,对输入最好分片,可以分开保存输出,也方便定位错误。