结对编程成员:阎大为,张跃馨
搭建环境:
1.安装Python
网址:https://www.python.org/
2.安装Pycharm
网址:http://www.jetbrains.com/pycharm/
3.安装Beautiful Soup模块
网址:https://pypi.python.org/pypi/beautifulsoup4/4.6.0
4.安装Firefox Developer Edition
网址:https://www.mozilla.org/zh-CN/firefox/developer
设计阶段:
1.通过Firefox Developer Edition 进行对大麦网源码分析
2.编写爬虫代码达到无人值守自动爬取网站源码并进行保存
3.进行保存源码分析
4.提取相关数据
5.构建后续功能
6.测试网站爬取速度达到效率最高化
7.稳定性测试
8.同时学习Python并发与线程相关知识