guomei_eros的博客

原创 Python Scrapy框架爬取微博数据

-1.前言   最近导师接到了一个项目,要爬取社交网路的数据,其中有一部分是爬取微博,Twitter和Facebook.目前实现了微博部分.先写着. 整个工程是使用的python3.6+Scray框架+MySQL数据库. 整个项目是在一个github开源的项目的基础上进行修改. 由于整个项目具有保密性,所以源码就不能放出了,下面和大家交流思路. 未完待续,有空我就会更新一下. 0.总体...