起航

走在数据分析的路上

爬虫框架Scrapy的安装与简介

一直想好好学习一下python,看了些基础教程,看到后面太枯燥,学习起来比较盲目,想着找些项目来边练手边联系,在知乎看到很多同学都在用python写网络爬虫,个人觉得比较有意思,于是从scrapy开始着手。

至于什么是scapy,我也还在学习中,可以看看官方手册:http://scrapy-chs.readthedocs.org/zh_CN/latest/intro/tutorial.html。

下面把我安装scrapy的过程做个小结:

  • Scrapy安装

scrapy的安装需要依赖下面的package,简单总结并附上地址(下载时请注意python对应版本):

package address
lxml https://pypi.python.org/pypi/lxml/3.4.4
zope.interface https://pypi.python.org/pypi/zope.interface/4.1.2
Twisted https://pypi.python.org/pypi/Twisted/15.2.1
pyOpenSSL https://pypi.python.org/pypi/pyOpenSSL/0.15.1
pywin32 http://sourceforge.net/projects/pywin32/?source=typ_redirect
Scrapy http://scrapy.org/

当然也可以直接执行pip install Scrapy命令去安装,系统会自动下载依赖包,但我在安装过程中出现了一些问题。直接安装行不通的话建议可以手动下载安装。

  • Scrapy创建项目

进入打算存储代码的目录,执行:

scrapy startproject test


命令执行完后会在当前目录下创建如下内容:

test/
    scrapy.cfg
    test/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
这些文件分别表示:

scrapy.cfg 项目的配置文件
test/ 该项目的python模块
test/items.py 项目中的item文件,用于保存爬取到的数据
test/pipelines.py 项目中的pipelines文件
test/setting.py 项目的设置文件
test/spiders/ 放置spider代码的目录,spider是用户编写用于网站爬取数据的类


MARK:http://community.spiceworks.com/how_to/38490-setting-up-scrapy-on-windows-7


阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_21144699/article/details/46838235
文章标签: 爬虫 python scrapy
个人分类: Python
想对作者说点什么? 我来说一句

Scrapy爬虫框架视频

2018年01月06日 111.21MB 下载

lxml-3.2.4.win-amd64-py2.7.exe

2016年11月02日 3.23MB 下载

没有更多推荐了,返回首页

不良信息举报

爬虫框架Scrapy的安装与简介

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭