学会Scrapy，再也不用担心不会爬虫了！

Scrapy 框架介绍

• scrapy是一套比较成熟的python爬虫框架，是使用python开发的快速，高层次的信息爬取框架，可以高效的爬取web页面并提取我们想要的结构化数据。

Scrapy 安装与配置

• 安装scrapy

pip install scrapy

通过对应的版本来安装scrapy，安装最新版就行，已经可以支持python3。

• 安装环境
  python3.7+scrapy最新版

如果你的pip命令较老，可以通过命令升级pip

python -m pip install --upgrade pip

一般会有提示告诉你怎么升级

Scrapy项目实战

• 爬取新浪新闻
  1.创建一个scrapy爬虫项目

2.项目创建好之后，下面首先修改项目中的items.py文件：

3.然后我们还需要修改pipelines.py 文件，我们将对应的信息存储到数据库中，注意：这里是使用mysql，小编通过本项目来讲解用python操作mysql，大家也可以通过excel存储，这里就不过多讲了；我们需要事先设计好数据库，然后根据设计好的数据库进行相应的处理，如下所示：

首先导入 pymysql

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
import pymysql

# useful for handling different item types with a single interface
from itemadapter import ItemAdapter


class MysqlpjtPipeline:
    def __init__(self):
        self.conn = pymysql.connect(host='127.0.0.1',user='root',passwd='***',db='pydb')
    def process_item(self, item, spider):
        name = item['name'][:30]
        key = item['keywd']
        sql = "insert into mytb(title,keywd) VALUES ('"+name+"','"+key+"')"
        self.conn.query(sql)
        self.conn.commit()
        return item
    def close_spider(self,spider):
        self.conn.close()

一定要记得添加commit，不然数据是插入无效的，很多小伙伴都会遗忘

• 我们也可以通过python来创建一个对应的数据库，如下所示：

import pymysql
# 连接mysql，创建数据库
 conn = pymysql.connect(host="127.0.0.1",user='root',password='***')
 conn.query("create database pydb")

# 进入pydb数据库，创建表mytb结构
conn1 = pymysql.connect(host="127.0.0.1",user='root',password='***',db='pydb')
# 设计表结构，字段类型
conn1.query("create table mytb(title char(20) NOT NULL,keywd char (30))")

4. 设置好settings.py启动对应的pipelines

# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   'mysqlpjt.pipelines.MysqlpjtPipeline': 300,
}

5.我们基于crawl爬虫模板创建一个名为xinlan 的爬虫文件，如下所示：

可以通过观察多个新闻页面URL地址，大家可以自行观察其规律并写出对应的正则表达式，这里我帮大家已经写好了

.?/[0-9]{4}.[0-9]{2}.[0-9]{2}.doc-.?shtml

6.接下来，最后一步，编写xinlan.py爬虫文件:

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from mysqlpjt.items import MysqlpjtItem

class TestSpider(CrawlSpider):
    name = 'xinlan'
    allowed_domains = ['sina.com.cn']
    start_urls = ['http://sina.com.cn/']

    rules = (
        Rule(LinkExtractor(allow=('.*?/[0-9]{4}.[0-9]{2}.[0-9]{2}.doc-.*?shtml')), callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        i = MysqlpjtItem()
        i["name"] = response.xpath('/html/head/title/text()').get()
        i['keywd'] = response.xpath('/html/head/meta[@name="keywords"]/@content').get()
        #item['domain_id'] = response.xpath('//input[@id="sid"]/@value').get()
        #item['name'] = response.xpath('//div[@id="name"]').get()
        #item['description'] = response.xpath('//div[@id="description"]').get()
        return i

编写好文件之后，通过以下命令运行：

scrapy crawl xinlan