Python Scrapy是功能十分强大的爬虫框架,使用起来非常方便,下面讲解下爬取华为应用市场APK的过程。
(1)安装
Scrapy是第三方爬虫框架,需要先安装,我window上安装的是Python2.7,框架安装比较简单。依次执行下面的命令就可以安装成功。
pip install scrapy
pip install pywin32
如果电脑上安装的是Python3的版本,Scrapy框架安装麻烦点,请参照这篇文章进行安装,
http://blog.csdn.net/liuweiyuxiang/article/details/68929999
总之就是安装过程中缺少什么库,就去这个网址下载对应的.whl文件,然后执行pip install xxx.whl文件就可以了
http://www.lfd.uci.edu/~gohlke/pythonlibs/
(2)创建项目
创建项目命令为 : scrapy startproject 项目名
创建之后,使用JetBrains PyCharm工具打开项目,项目目录结构如下
文件说明: