项目经过
大致一共经历了以下阶段
1.了解主要任务
2.后端小组经过沟通后,大致确认了YouTube等网站的爬取需要
3.分配到YouTube的我最终确定了爬取数据以及其类型
4.完成关于YouTube爬取的scrapy框架的基本文件的设计
5.完成关于YouTube爬取的scrapy框架的spider.py的设计,并将数据爬取存入mysql数据库
6.临时得到了要爬取新闻网站的任务
7.分配到Worldjournal的我最终确定了爬取数据以及其类型
8.完成关于Worldjournal爬取的scrapy框架的spider.py的设计,并将数据爬取存入mysql数据库
项目工作量
YouTube爬虫:1400行左右
Worldjournal爬虫:800行左右
项目收获
基本上掌握了scrapy框架的使用,也了解了Java前端与python后端服务连接的过程,以及数据库在其中的定位,还知道了一个公司在面临项目的时候详细的运转过程以及分工,并且认识了很多有丰富项目经验、和蔼可亲的老师和技术过硬的同学。相信这段经历能为以后实习甚至正式岗位上的工作打下基础