此原生爬虫项目旨在爬取直播平台(本项目以pandaTV为例)上某分类(本项目为Dota2)的主播人气,进行排行、得出排行榜。
首先对爬虫的框架进行分析,得到以下思维导图:
从思维导图中可以得到该爬虫应该实现的四个基本功能:
1)从直播平台获取HTML数据
2)对获取的数据进行精炼
3)将精炼后的数据进行排序
4)将排序后的结果输出
基本功能确定后,将爬虫的基本框架搭建如下:
class Spider():
html = 'null'
data = 'null'
rank = []
def __get_html(self):
Spider.html = get_html()
def __refine_data(self,data):
Spider.data = refine_data(data)
def __sort_data(self,data):
Spider.rank = sort(data)
def __show_rank(self,data):
show_rank(data)
def get_rank(self):
self.__get_html()
self.__refine_data(Spider.html)
self.__sort_data(Spider.data)