功能需求分析
主要功能需求如下:
-
用户输入工作地点和感兴趣的职位信息;
-
根据指定输入信息进行多线程的网页爬取;
-
解析提取结构化的招聘信息;
-
将数据存入指定的数据库;
这里由于篇幅和时间原因,功能并没有那么复杂,但是博主会在后续加入更加丰富的功能,并与大家分享,包括:
-
ip池的加入;
-
爬取和解析效率的优化;
-
对爬取数据进行数据分析,提供可视化的统计和简单预测;
-
其它反爬功能;
功能实现分析
明白了要完成的任务,就需要开始分析我们的目标网站了。