好久没有写博客了,之前做的项目也没有上传,今天来一波记录:
使用XMLFeedSpider分析XML源 进行爬虫
爬取新浪博客的订阅地址XML中的文章标题、对应链接、作者等信息,使用Scrapy框架进行爬取
最终运行结果如下图:
此处主要记录下该过程中遇到的问题:
在命令行中输入scrapy crawl myxmlspider --nolog时出现了一错误:unhandled error in defered
百度了下主要是没有安装pywin32这个库,所以需要根据python版本以及系统版本安装该库,我用的是python3.5 windows64位操作系统,所以安装了pywin32 forpython3.5 amd64的whl使用pip命令安装,安装文件下载地址http://download.csdn.net/download/u013612883/9713280(只有64位python3.5的其余版本上网搜索)