Python Scrapy爬取华为应用市场APK信息

Python Scrapy是功能十分强大的爬虫框架，使用起来非常方便，下面讲解下爬取华为应用市场APK的过程。

（1）安装

Scrapy是第三方爬虫框架，需要先安装，我window上安装的是Python2.7，框架安装比较简单。依次执行下面的命令就可以安装成功。

pip install scrapy

pip install pywin32

如果电脑上安装的是Python3的版本，Scrapy框架安装麻烦点，请参照这篇文章进行安装，

http://blog.csdn.net/liuweiyuxiang/article/details/68929999 

总之就是安装过程中缺少什么库，就去这个网址下载对应的.whl文件，然后执行pip install xxx.whl文件就可以了

http://www.lfd.uci.edu/~gohlke/pythonlibs/

（2）创建项目

创建项目命令为 ： scrapy startproject 项目名

创建之后，使用JetBrains PyCharm工具打开项目，项目目录结构如下

文件说明：