一、 scrapy 的安装
直接安装scrapy会报错,我是用pycharm+anaconda环境安装的。
首先pip超过10.0版本会提示没有找到main函数的问题,这个时候在cmd命令行需要运行命令python -m pip install pip==9.0.3
降版本之后,用pycharm 自带setting依次安装(从下往上)
安装twisted包的时候,需要从https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted找到对应的whl文件下载后 放到对应用户目录中 最后使用pip安装就可以了。twisted安装成功之后,用pycharm安装scrapy。
安装scrapy只有一定还需要配置环境变量,将python编译器的script文件目录放入环境变量,然后用cmd运行scrapy验证安装是否成功。
scrapy.cfg: 项目的配置文件
tutorial/: 该项目的python模块。之后您将在此加入代码。
tutorial/items.py: 项目中的item文件.
tutorial/pipelines.py: 项目中的pipelines文件.
tutorial/settings.py: 项目的设置文件.
tutorial/spiders/: 放置spider代码的目录.
Item 是保存爬到数据的容器;使用方法和python字典类似