工作上需要使用到Python去抓取数据,在学习Scrapy之前已经使用过BeautifulSoup4进行抓取,由于学习的深度不够,只能是基本能用的状态,听说Scrapy很多人都在用,于是乎也得学习scrapy的使用才行。我目前使用的是python3.6.3的64位版本,在安装scrapy的Twisted的时候,就是会报Microsoft Visual C++ 14.0为必需,百度出来的都是分步安装Twisted, pywin32, wheel之类的,对于菜鸟来说,这个真的是够烦而且不一定能安装得上。甚至可能报相同的错误,对于习惯使用pip install scrapy让脚本自动去安装必需的组件是最完美的。
从报错来看,是因为安装的电脑没有安装visual c++编译器,而且必须是14.0版本以上的。说明在安装scrapy相关组件的时候需要使用到这个编译器去编译c++的源码并执行,那么我们安装后再运行是不是就不会报错了。我从http://landinghub.visualstudio.com/visual-cpp-build-tools 下载最新的并安装,彻底一点我在安装完成后还重启了电脑,生怕没有生效。
重启电脑后,再打开命令提示窗口,使用pip install scrapy,在扫描了哪些未缓存和必须的组件后,自动下载并安装后。一点问题都没有。
另外还需要使用pip安装pymysql,学习srcapy的目标就是抓取数据保存到对应的数据库,同时需要学习linux的定时执行任务。
注:Ace哥只是听说过python的好处,还没有系统认真地学过python的基本知识。都是以工作驱动学习,说白了就是工作摆在那里,你死都要死出来。