python爬虫scrapy爬取新闻标题及链接_【Python Scrapy 爬虫框架】 2、利用 Scrapy 爬取我的博客文章标题链接...

0x00 新建项目

在终端中即可直接新建项目，这里我创建一个名称为 teamssix 的项目，命令如下：

scrapy startproject teamssix

命令运行后，会自动在当前目录下生成许多文件，如下所示：

teamssix

│ scrapy.cfg #scrapy的配置文件

└─teamssix #项目的Python模块，在这里写自己的代码

│ items.py #项目定义文件

│ middlewares.py #项目中间件文件

│ pipelines.py #项目管道文件，用来处理数据的写入存储等操作

│ settings.py #项目设置文件

│ __init__.py

├─spiders #在这里写爬虫代码

└─ __init__.py

接下来使用 Pycharm 打开我们刚才新建的项目。

0x01 创建一个爬虫

首先，在 spiders 文件下 new 一个 python file，这里我新建了一个名为 teamssix_blog_spider 的 py 文件。

在新建的文件中写入自己的代码，这里我写的代码如下：

import scrapy

class BlogSpider(scrapy.Spider): #创建 Spider 类

name = 'blogurl'， #爬虫名称，必填

start_urls = ['https://www.teamssix.com'] #待爬取的 url ，必填

def parse(self,response): #定义 parse 函数，以解析爬到的东西

print(response.url)

print(response.text)

0x02 运行爬虫

之后运行我们刚新建的 blogurl 项目，运行命令如下：

scrapy crawl blogurl

之后输出结果如下：

2019-12-23 18:33:45 [scrapy.utils.log] INFO: Scrapy 1.8.0 started (bot: teamssix)

2019-12-23 18:33:45 [scrapy.utils.log] INFO: Versions: lxml 4.2.5.0, libxml2 2.9.8, cssselect 1.1.0, parsel 1.5.2, w3lib 1.21.0, Twisted 19.10.0, Python 3.7e'

……省略……

https://www.teamssix.com

【Teams Six】