python 在pycharm中 爬虫

查了一些资料发现大部分的爬虫在liunx环境下运行,但本人想在windows下进行爬虫,好不容易把各种依赖装上了,但是如何在windows下pycharm中创建爬虫,以及调试和执行,进行了摸索。
参考了下面的两篇文章:
http://blog.csdn.net/ck4438707/article/details/52076220
http://blog.csdn.net/pleasecallmewhy/article/details/19642329

1.首先新建一个工程

这里写图片描述
并在工程里面建一个文件scrapyp.py,在文件中写入

from scrapy.cmdline import execute
execute()  

在pycharm中点击右上角:edit configurations
这里写图片描述
则弹出如下框:
这里写图片描述

在红色箭头指示的位置,输入命名参数,创建一个爬虫,名称为tutorial,执行scrapyp.py文件。
在工程下面会出现如下结构:
这里写图片描述
到此一个基本的爬虫框架出来了,后面需要再各个模块添加内容。

  1. 下面来简单介绍一下各个文件的作用:

    scrapy.cfg:项目的配置文件
    tutorial/:项目的Python模块,将会从这里引用代码
    tutorial/items.py:项目的items文件
    tutorial/pipelines.py:项目的pipelines文件
    tutorial/settings.py:项目的设置文件
    tutorial/spiders/:存储爬虫的目录
    这里写图片描述
    在此文件中放入如下代码,并执行可以看到爬取的内容:

from scrapy import cmdline
cmdline.execute("scrapy crawl dmoz".split())

这里写图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值