scrapy入门

由于信息检索课程需要进行搜索引擎的搭建，所以这里就先开始爬取网络内容的第一步。
一直苦于eclipse+pyDev对Scrapy的各种不支持，今天师兄给我介绍了一款神器：Jupyter.只要在你的项目下进入命令行输入：jupyter notbook就可以对代码进行编辑和运行啦，感兴趣的小伙伴赶紧下手了。好了废话不多说，进入正题吧。
（一）入门
选择scrapy框架进行爬虫主要是因为本人自己刚刚接触python，网上大家说python自带的BeatifulSoup功能强大，但是爬取速度太慢,而scrapy采用的是异步加载机制，所以对于爬取大量数据占有很大的优势。