python 之 scrapy 入门 (初入)

在网上浏览了众多scrapy入门教程
作为小白的我总结一下:
最重要的一点就是安装Scrapy 前提是安装好了Anaconda Navigator过后 简直是如履平地啊！
可以借鉴https://blog.csdn.net/zjiang1994/article/details/52689144这篇博客的安装方法
1 . 只需要python编译环境满足的条件下 不需要那么繁琐的操作
2 . scrapy框架对python爬虫进行了一些流程上的封装
3 . 需要学习的就是对框架中的选择器selector.xpath('') 的应用
在编译环境上 编辑工具采用的 PyCharm 集成的是python3.7的版本并集成Anaconda Navigator可视化包管理工具
这玩意儿功能是非常强悍的Anaconda Navigator
1.1 什么是 Anaconda？
Anaconda是专注于数据分析的Python发行版本，包含了conda、Python等190多个科学包及其依赖项。作为好奇宝宝的你是不是发现了一个新名词 conda，那么你一定会问 conda 又是什么呢？

1.2 什么是 conda ？
conda 是开源包（packages）和虚拟环境（environment）的管理系统。

packages 管理： 可以使用 conda 来安装、更新 、卸载工具包 ，并且它更关注于数据科学相关的工具包。在安装 anaconda 时就预先集成了像 Numpy、Scipy、 pandas、Scikit-learn 这些在数据分析中常用的包。另外值得一提的是，conda 并不仅仅管理Python的工具包，它也能安装非python的包。比如在新版的 Anaconda 中就可以安装R语言的集成开发环境 Rstudio。

虚拟环境管理： 在conda中可以建立多个虚拟环境，用于隔离不同项目所需的不同版本的工具包，以防止版本上的冲突。对纠结于 Python 版本的同学们，我们也可以建立 Python2 和 Python3 两个环境，来分别运行不同版本的 Python 代码。

1.3 Anaconda 的优点？
Anaconda的优点总结起来就八个字：省时省心、分析利器。

省时省心： Anaconda通过管理工具包、开发环境、Python版本，大大简化了你的工作流程。不仅可以方便地安装、更新、卸载工具包，而且安装时能自动安装相应的依赖包，同时还能使用不同的虚拟环境隔离不同要求的项目。

分析利器： 在 Anaconda 官网中是这么宣传自己的：适用于企业级大数据分析的Python工具。其包含了720多个数据科学相关的开源包，在数据可视化、机器学习、深度学习等多方面都有涉及。不仅可以做数据分析，甚至可以用在大数据和人工智能领域。
” 可以观赏https://www.jianshu.com/p/169403f7e40c 的博客 怎么安装和使用

以上就为scrapy做好了准备了 不再需要那么繁琐的操作了

接下来我们就只需要在PyCharm控制台 操作scrapy创建项目了 scrapy startproject Demo3
记住一点就是在创建scrapy项目时一定要把目录切换的工作空间下进行创建

目录结构如下：

---

创建好项目后需将python切换配置Anaconda 模板源

就是切换这里的资源路径 切换到安装好的Anaconda 下的python.exe

---

scrapy.cfg: 项目的配置文件
Demo3/: 该项目的python模块。之后您将在此加入代码。
Demo3/items.py: 项目中的item文件.相当于spring 中的model文件
Demo3/pipelines.py: 项目中的pipelines文件.用于处理数据的存储
Demo3/settings.py: 项目的设置文件.
Demo3/spiders/: 放置spider代码的目录. 放置爬虫类的位置

第一步在spiders 下创建自己的爬虫MyScr.py

# !/usr/bin/env python3
# -*- coding:utf-8 -*-

__author__ = 'lilu'

import scrapy
# 引入本地的模板
from Demo3.Citems import Citme


class MyScr(scrapy.Spider):

    # 设置全局唯一的name
    name = 'MyScr1'

    # 填写爬取地址
    start_urls = ['http://news.sina.com.cn/china/']

    # 编写爬取方法
    def parse(self, response):
        # 实例一个容器保存爬取的信息
        item = Citme()
        # 这部分是爬取部分，使用xpath的方式选择信息，具体方法根据网页结构而定
        # 先获取每个课程的div
        for box in response.xpath('//div[@class="news-item  img-news-item"]'):
            # 获取div中的课程标题
            item['title'] = box.xpath('.//a/text()').extract()[0].strip()

            # 返回信息
            yield item

再次强调 以上name参数是全局唯一的
在这个MyScr.py中我们用到了Scrapy元素选择器Xpath 在这里就不多介绍了 走重点

第二步在Demo3子目录下 items.py 同级创建自己的model类Citems.py

# !/usr/bin/env python3
# -*- coding:utf-8 -*-

__author__ = 'lilu'

import scrapy

# 编写model模板
class Citme(scrapy.Item):
    # 储存标题
    title = scrapy.Field()

这个类就相当于spring 中的model类 我们在MyScr.py文件中引入了model
看一下当前的目录结构：

到这里我们就可以试着运行这个爬虫了 在控制台运行scrapy crawl MyScr1 命令，
这里注意的点就是MyScr1 是我们之前设置的name 属性
运行结果（虽然格式有点乱但是我们要得数据是爬取到了）：

接下来我们就可以对数据进行入库处理了，当前只是演示 写入json文件

第三步在Demo3子目录下 pipelines.py 同级创建自己的数据处理类MyPipelines.py

#! /usr/bin/env python3
# -*- coding:utf-8 -*-

__author__ = 'lilu'

import json


class MyPipeline(object):
    def __init__(self):
        # 打开文件
        self.file = open('data.json', 'w', encoding='utf-8')

    # 该方法用于处理数据
    def process_item(self, item, spider):
        # 读取item中的数据
        line = json.dumps(dict(item), ensure_ascii=False) + "\n"
        # 写入文件
        self.file.write(line)
        # 返回item
        return item

    # 该方法在spider被开启时被调用。
    def open_spider(self, spider):
        pass

    # 该方法在spider被关闭时被调用。
    def close_spider(self, spider):
        pass

当然要使用 pipelines 需要在 settings.py 中进行配置

ITEM_PIPELINES = {
    'Demo3.MyPipelines.MyPipeline': 1,
}

上面的代码用于注册Pipeline，其中scrapytest.MyPipelines.MyPipeline为你要注册的类，右侧的’1’为该Pipeline的优先级，范围1～1000，越小越先执行。

进行完以上操作，我们的一个最基本的爬取操作就完成了

这时我们再运行 scrapy craml MyScr1
会发现多了一个data.json文件

打开data.json

{"title": "北京平均1963人抢1个普通车指标 新能源至少等4年"}
{"title": "英烈保护法草案拟增加条款 打击“精日分子”"}
{"title": "新疆阿图什市发生3.2级地震 震源深度57千米"}
{"title": "我国瞄准短板攻关10年 核心电子器件告别缺芯少魂"}
{"title": "专家建言京津冀大气治理:长途大宗货物用铁路运输"}
{"title": "西班牙警方捣毁一个假奶粉包装厂 主要将销往中国"}
{"title": "上海公安局迎来新领导：曾跨国追捕“美女高管”"}
{"title": "西安书记自曝每天工作16小时 一天三四个会是常态"}
{"title": "内蒙古自治区政府副主席白向群被查(图/简历)"}
{"title": "江西三县市区被省环保厅约谈:空气质量全省排倒数"}
{"title": "加拿大参院通过涉南海动议 中方回应"}
{"title": "陈水扁称绿营选举恐崩溃 港媒:语不惊人死不休"}
{"title": "中国3月进口美大豆数量剧减 外媒:与贸易摩擦有关"}
{"title": "26日起华南等地将有较强降水 局地暴雨或大暴雨"}
{"title": "媒体：香港不缺少土地 缺的是向自己动刀子的能力"}
{"title": "中美贸易战问题欧洲站队了：这次不支持美国人"}
{"title": "中国2030年或实现载人登月 下一目标：送人到火星"}
{"title": "“中日智库媒体高端对话会”顺利在日本举行"}

到这里就完成了一个简单的爬虫了