爬虫框架Scrapy的安装与简介

原创 2015年07月11日 02:19:29

一直想好好学习一下python,看了些基础教程,看到后面太枯燥,学习起来比较盲目,想着找些项目来边练手边联系,在知乎看到很多同学都在用python写网络爬虫,个人觉得比较有意思,于是从scrapy开始着手。

至于什么是scapy,我也还在学习中,可以看看官方手册:http://scrapy-chs.readthedocs.org/zh_CN/latest/intro/tutorial.html。

下面把我安装scrapy的过程做个小结:

  • Scrapy安装

scrapy的安装需要依赖下面的package,简单总结并附上地址(下载时请注意python对应版本):

package address
lxml https://pypi.python.org/pypi/lxml/3.4.4
zope.interface https://pypi.python.org/pypi/zope.interface/4.1.2
Twisted https://pypi.python.org/pypi/Twisted/15.2.1
pyOpenSSL https://pypi.python.org/pypi/pyOpenSSL/0.15.1
pywin32 http://sourceforge.net/projects/pywin32/?source=typ_redirect
Scrapy http://scrapy.org/

当然也可以直接执行pip install Scrapy命令去安装,系统会自动下载依赖包,但我在安装过程中出现了一些问题。直接安装行不通的话建议可以手动下载安装。

  • Scrapy创建项目

进入打算存储代码的目录,执行:

scrapy startproject test


命令执行完后会在当前目录下创建如下内容:

test/
    scrapy.cfg
    test/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
这些文件分别表示:

scrapy.cfg 项目的配置文件
test/ 该项目的python模块
test/items.py 项目中的item文件,用于保存爬取到的数据
test/pipelines.py 项目中的pipelines文件
test/setting.py 项目的设置文件
test/spiders/ 放置spider代码的目录,spider是用户编写用于网站爬取数据的类


MARK:http://community.spiceworks.com/how_to/38490-setting-up-scrapy-on-windows-7


版权声明:本文为博主原创文章,未经博主允许不得转载。

scrapy爬虫架构介绍和初试

一、scrapy简介 Scrapy 是一套基于Twisted的异步处理框架,是纯python实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容或者各种图片。下图显示...
  • junli_chen
  • junli_chen
  • 2015年09月04日 16:21
  • 1718

windows 7 下如何搭建爬虫框架scrapy

一直以来都对Python有兴趣,最近看了好多人利用Python来爬虫,也想学学,于是在windows7 下安装爬虫框架scrapy! 本文主要讲解在windows上搭建scrapy的步骤,有兴...
  • cwt19902010
  • cwt19902010
  • 2017年02月20日 21:32
  • 349

Scrapy:Python的爬虫框架----原理介绍

Scrapy:Python的爬虫框架 网络爬虫,是在网上进行数据抓取的程序,使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序,但是使用框架可以大大提高效率,缩短开发时间...
  • wickedvalley
  • wickedvalley
  • 2016年07月22日 18:18
  • 10887

CentOS7安装Scrapy和一些爬虫会用到的服务

博客链接 https://uublog.com/article/20170308/centos7-install-scrapy/ 讯云这几天搞活动,免费领了三个月的免费VPS。所以想把本地虚拟机的s...
  • MichaelJScofield
  • MichaelJScofield
  • 2017年05月16日 10:23
  • 883

Python分布式爬虫必学框架Scrapy打造搜索引擎

Python分布式爬虫必学框架Scrapy打造搜索引擎 随笔背景:在很多时候,很多入门不久的朋友都会问我:我是从其他语言转到程序开发的,有没有一些基础性的资料给我们学习学习呢,你的框架感觉一...
  • cadn_jueying
  • cadn_jueying
  • 2017年11月21日 19:35
  • 329

在Python3.5下安装和测试Scrapy爬网站

Scrapy框架结构清晰,基于twisted的异步架构可以充分利用计算机资源,是爬虫做大的必备基础。本文将讲解如何快速安装此框架并使用起来。...
  • fullerhua
  • fullerhua
  • 2016年10月28日 10:10
  • 5561

零基础写python爬虫之使用Scrapy框架编写爬虫

网络爬虫,是在网上进行数据抓取的程序,使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序,但是使用框架可以大大提高效率,缩短开发时间。Scrapy是一个使用Python编写的,轻...
  • qq_30175203
  • qq_30175203
  • 2016年05月10日 10:01
  • 2524

scrapy爬虫框架入门实例

scrapy爬虫框架入门实例关于如何安装scrapy框架,可以参考这篇文章 scrapy安装方法 初识scrapy框架,写个简单的例子帮助理解。强调一下,这里使用的是Python3.6例子的目标就...
  • zjiang1994
  • zjiang1994
  • 2016年10月10日 21:22
  • 29137

Python网络爬虫3 ---- ubuntu下安装爬虫框架scrapy

原文转载自:http://www.cnblogs.com/HelloPython/ 根据Scrapy安装指南(http://doc.scrapy.org/en/latest/intr...
  • cgl1079743846
  • cgl1079743846
  • 2014年02月20日 20:12
  • 4227

使用Scrapy框架编写爬虫

网络爬虫,是在网上进行数据抓取的程序,使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序,但是使用框架可以大大提高效率,缩短开发时间。Scrapy是一个使用Python编写的,轻...
  • sun___shine
  • sun___shine
  • 2016年09月18日 15:37
  • 2556
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:爬虫框架Scrapy的安装与简介
举报原因:
原因补充:

(最多只允许输入30个字)