Python爬虫

最新推荐文章于 2024-05-23 21:34:38 发布

weixin_33933118

最新推荐文章于 2024-05-23 21:34:38 发布

阅读量54

点赞数

文章标签： python 爬虫 c/c++

原文链接：https://my.oschina.net/hava/blog/1383037

版权

为什么80%的码农都做不了架构师？>>>

Scrapy

学习Scrapy入门
 Scrapy入门教程
 https://scrapy.org/

安装Scrapy

通过pip命令对scrapy进行安装，Windows版本的python自带pip，则执行如下命令

pip install scrapy

在windows中碰到如下问题

error: Microsoft Visual C++ 9.0 is required. Get it from http://aka.ms/vcpython27

进入页面，里面会有一个download按钮，点击进行下载、安装。

安装完毕后，再次执行

pip install scrapy

安装成功。

创建Scrapy项目

请把python和python/Script目录添加到环境变量当中

在项目目录中执行如下命令

scrapy startproject tutorial

tree命令得到的结果

└─tutorial
    │  scrapy.cfg - 项目的配置文件
    │
    └─tutorial
        │  items.py - 项目中的item文件
        │  middlewares.py 
        │  pipelines.py - 项目中的pipelines文件
        │  settings.py - 项目的设置文件
        │  __init__.py
        │
        └─spiders - 防止spider代码的目录
                __init__.py

转载于:https://my.oschina.net/hava/blog/1383037