爬虫框架Scrapy的安装与简介

原创 2015年07月11日 02:19:29

一直想好好学习一下python,看了些基础教程,看到后面太枯燥,学习起来比较盲目,想着找些项目来边练手边联系,在知乎看到很多同学都在用python写网络爬虫,个人觉得比较有意思,于是从scrapy开始着手。

至于什么是scapy,我也还在学习中,可以看看官方手册:http://scrapy-chs.readthedocs.org/zh_CN/latest/intro/tutorial.html。

下面把我安装scrapy的过程做个小结:

  • Scrapy安装

scrapy的安装需要依赖下面的package,简单总结并附上地址(下载时请注意python对应版本):

package address
lxml https://pypi.python.org/pypi/lxml/3.4.4
zope.interface https://pypi.python.org/pypi/zope.interface/4.1.2
Twisted https://pypi.python.org/pypi/Twisted/15.2.1
pyOpenSSL https://pypi.python.org/pypi/pyOpenSSL/0.15.1
pywin32 http://sourceforge.net/projects/pywin32/?source=typ_redirect
Scrapy http://scrapy.org/

当然也可以直接执行pip install Scrapy命令去安装,系统会自动下载依赖包,但我在安装过程中出现了一些问题。直接安装行不通的话建议可以手动下载安装。

  • Scrapy创建项目

进入打算存储代码的目录,执行:

scrapy startproject test


命令执行完后会在当前目录下创建如下内容:

test/
    scrapy.cfg
    test/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
这些文件分别表示:

scrapy.cfg 项目的配置文件
test/ 该项目的python模块
test/items.py 项目中的item文件,用于保存爬取到的数据
test/pipelines.py 项目中的pipelines文件
test/setting.py 项目的设置文件
test/spiders/ 放置spider代码的目录,spider是用户编写用于网站爬取数据的类


MARK:http://community.spiceworks.com/how_to/38490-setting-up-scrapy-on-windows-7


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Python scrapy爬虫框架简介

安装准备需要安装Python2.7/3.5 需要安装scrapy库:pip install scrapy Windows下还需要安装win32py扩展包:安装参考另一篇文章http://blog.c...

python爬虫框架-Scrapy安装详细教程

首先说明一下,我这里讲的是Windows64/32位操作系统下的安装教程。其他linux、Ubuntu环境下的安装暂时还未整理。请自行寻找教程。安装Scrapy主要分为一下九个步骤: 1. 安装py...

Windows 系统Scrapy爬虫框架的安装

因为一直以来都想要鼓捣鼓捣爬虫,昨天闲余时间就在网上搜了搜爬虫相关的东西,最后发现了Scrapy的评价度很高,于是就跟着官方文档撸了一遍,虽然Scrapy框架安装使用文档在网上一搜一大堆,但是还是想自...

scrapy windows 安装教程 python 爬虫框架

本次安装使用的系统环境是windows xp。以下给出具体步骤。我想如果照做一定能够成功哦。   1.安装python2.6.这里选择的是python2.6,为什么选择这个版本, 首先,s...

[Python]Python爬虫之Scrapy框架安装配置

最近在做用户行为分析和预测的一个task,但是mgr不给数据,让自己去爬......=。= 发现要爬的网站一般的urllib/urllib2还都爬不成,需要用更高级的爬虫框架Scrapy。 从网上找了...

Window环境下安装基于Python的Scrapy网络爬虫框架

摘要Window环境下安装Scrapy框架的过程及一些错误的解决。具体环境:Windows 8.1 +Python 2.7

RedHat下完美安装scrapy爬虫框架

Scrapy是一款非常成熟的爬虫框架,可以抓取网页数据并抽取结构化数据,目前已经有很多企业用于生产环境。 下面记录一下从安装Python到安装scrapy的过程,最后,通过执行命令进行抓取数据来验证我...

学习安装python的Scrapy爬虫框架

前言:很多人都是奔着爬虫去学习Python的,Scrapy是基于python的一个爬虫框架,小编在学习的时候按照书上来一步一步走,很遗憾失败了。又按照网上乱七八糟的安装教程来安装,结果可想而知。我在这...

Python爬虫框架Scrapy安装

Scrapy框架安装
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)