关闭

爬虫框架Scrapy的安装与简介

标签: 爬虫pythonscrapy
193人阅读 评论(0) 收藏 举报
分类:

一直想好好学习一下python,看了些基础教程,看到后面太枯燥,学习起来比较盲目,想着找些项目来边练手边联系,在知乎看到很多同学都在用python写网络爬虫,个人觉得比较有意思,于是从scrapy开始着手。

至于什么是scapy,我也还在学习中,可以看看官方手册:http://scrapy-chs.readthedocs.org/zh_CN/latest/intro/tutorial.html。

下面把我安装scrapy的过程做个小结:

  • Scrapy安装

scrapy的安装需要依赖下面的package,简单总结并附上地址(下载时请注意python对应版本):

package address
lxml https://pypi.python.org/pypi/lxml/3.4.4
zope.interface https://pypi.python.org/pypi/zope.interface/4.1.2
Twisted https://pypi.python.org/pypi/Twisted/15.2.1
pyOpenSSL https://pypi.python.org/pypi/pyOpenSSL/0.15.1
pywin32 http://sourceforge.net/projects/pywin32/?source=typ_redirect
Scrapy http://scrapy.org/

当然也可以直接执行pip install Scrapy命令去安装,系统会自动下载依赖包,但我在安装过程中出现了一些问题。直接安装行不通的话建议可以手动下载安装。

  • Scrapy创建项目

进入打算存储代码的目录,执行:

scrapy startproject test


命令执行完后会在当前目录下创建如下内容:

test/
    scrapy.cfg
    test/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
这些文件分别表示:

scrapy.cfg 项目的配置文件
test/ 该项目的python模块
test/items.py 项目中的item文件,用于保存爬取到的数据
test/pipelines.py 项目中的pipelines文件
test/setting.py 项目的设置文件
test/spiders/ 放置spider代码的目录,spider是用户编写用于网站爬取数据的类


MARK:http://community.spiceworks.com/how_to/38490-setting-up-scrapy-on-windows-7


0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:3318次
    • 积分:71
    • 等级:
    • 排名:千里之外
    • 原创:4篇
    • 转载:0篇
    • 译文:0篇
    • 评论:0条
    文章存档