scrapy入门

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/xiayeqianfeng/article/details/53426527

由于信息检索课程需要进行搜索引擎的搭建,所以这里就先开始爬取网络内容的第一步。
一直苦于eclipse+pyDev对Scrapy的各种不支持,今天师兄给我介绍了一款神器:Jupyter.只要在你的项目下进入命令行输入:jupyter notbook就可以对代码进行编辑和运行啦,感兴趣的小伙伴赶紧下手了。好了废话不多说,进入正题吧。
(一)入门
选择scrapy框架进行爬虫主要是因为本人自己刚刚接触python,网上大家说python自带的BeatifulSoup功能强大,但是爬取速度太慢,而scrapy采用的是异步加载机制,所以对于爬取大量数据占有很大的优势。

展开阅读全文

没有更多推荐了,返回首页