scrapy爬虫框架参数设置

scrapy框架安装

笔者为windows系统。scrapy框架可以使用pip下载,但在下载安装过程中可能会因为缺少c++ 14.0的环境导致scrapy无法安装。

解决方案

http://fstab.net/pypi/simple/twisted/中找到对应的包进行下载,如笔者为python3.6的环境则下载

Twisted-17.1.0-cp36-cp36m-win_amd64.whl

使用pip安装这个包

pip install [包所在的路径]\Twisted-17.1.0-cp36-cp36m-win_amd64.whl

然后再执行pip install scrapy即可安装成功

scrapy框架初尝试

建立scrapy项目

scrapy startproject mySpider

这条命令会建立一个文件夹,目录树如下

mySpider/
    scrapy.cfg
    mySpider/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py

在spiders文件夹中创建py文件写入如下代码

import scrapy

class TestSpider(scrapy.Spider):
    name = "test" # 这个爬虫的识别名称,必须是唯一的,在不同的爬虫必须定义不同的名字。
    start_urls = (
        'http://www.baidu.com/',
    )# 起始爬取的网页

    def parse(self, response):
        print(response.body)

随后可在控制台内运行该爬虫

scrapy crawl test

即可在控制台内看到输出的爬虫内容

笔者目前尚未深入了解scrapy框架,如有错误之处,请见谅并指出。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值