静态网页爬虫

 

记小白的第一次爬虫经历。

实验环境：Python3.6   IDE :Spyder

需要用到的包：urllib.request（必备），bs4（必备），re，pandas

 

 

目标：爬取股吧论坛个股吧（每支股票）第一页帖子内容（股票代码、帖子url、帖子标题、帖子内容），并输出到csv文件

 

 

 

 

爬虫框架：

 

调度器class SpiderMain(object)：

创建四个对象（分别为url管理器对象，下载对象，解析对象，输出对象）：

 

爬虫函数def crawl(self, root_url)：