基于python的一个大规模爬虫遇到的一些问题总结
前些天在某个论坛看到一些很感兴趣的信息,想要将其爬取下来,预估了下规模,想要做的是:将整个论坛的所有文章爬取下来,保存为本地的txt。
一开始写了个爬虫,大致思路是:
先从论坛的起始页开始爬起,得到所有分区版面的网址然后从分区版面得到该区总共的页码数,根据网址规律得到分区版面所有页数的网页从上面的分区版面的某一页的网页中得到该页所有文章的网址,然后抓取这些文章,保存为本地txt
上面
原创
2014-12-29 23:19:14 ·
9415 阅读 ·
1 评论