python Scrapy安装、教程、及爬虫

1、首先要安装好scrapy模块，讲真，真的要找到一个好的安装教程，你会省很大力    传送门  b(￣▽￣)d

2、Scrapy是一个用python编写的，很轻巧方便的网络爬虫。

      简单的理解，它可以爬取某一个网页的所需信息和链接传回并储存，然后本地代码可以继续访问爬取到的链接，并获取所需信息继续传回储存。

      这里有比较严谨的解释   http://hao.jobbole.com/python-scrapy/

      对于爬虫教程网上也有很多  http://scrapy-chs.readthedocs.org/zh_CN/latest/intro/tutorial.html

3、首先先创建一个爬虫项目，我爬的是这个网址    http://heart.39.net/zhlm/bljd/xzb/  

      运行 >> cmd >> 切换到存放代码的目录中 >> 执行命令：scrapy startproject heart("heart"为项目名称)

      然后它就会在目录生成一些文件，主要为（以下均为我的简单理解，如有不对，请指出O(∩_∩)O谢谢）：

<span style="font-size:18px;">

│  scrapy.cfg                #项目的配置文件
│
└─heart
    │  items.py              #定义items，就是你想爬的那一类的叫啥（起个名儿），然后你爬下来后它就会存在哪个下面
    │  pipelines.py          #管道，即如果想将爬到的东西存到数据库中，可以在这写明，如果存到本地可以不用改
    │  settings.py           #放置，即储存的路径，格式
    │  __init__.py
    │
    └─spiders               #放置spider代码的目录，即在它下面创建.py文件来写爬虫代码
            __init__.py

</span>

4、定义items

      我要在这个网站中获取 文章标题、url（即文章链接）、文章正文

      创建一个scrapy.Item类，并用scrapy.Field()的类属性来定义一个item

<span style="font-size:18px;">import scrapy

class HeartItem(scrapy.Item):
    title=scrapy.Field()    #文章标题
    link=scrapy.Field()     #文章链接
    text=scrapy.Field()     #文章正文</span>

5、编写爬虫（spider）

      spider是用户编写的类，用于写要抓取的信息的代码，要继承 scrapy.Spider 类，并定义三个属性：

        -- name：用于区别每一个spider，名字是唯一的，且不同的spider定义不同的name，叫啥你开心就好！！

        -- start_urls：从属性名就可以看出来，这是初始的网址，爬虫从初始网页上爬取这个网页包含的url，然后会继续访问 子url 获取信息。（可以不唯一）

        -- parse()：spider的一个方法。用于提取原始网页的数据，生成item，并生成用于进一步处理的 子url 数据。

       ☟☟我觉得以下在小黑框里输入的东西一定要输一遍

     （1）、运行cmd，进入项目根目录，输入scrapy crawl heart

     （2）、输入  scrapy shell “ http://heart.39.net/zhlm/bljd/xzb/（即初始网址）”

     （3）、提取item（使用shell中的selector选择器，然后sel.xpath）

                 讲一下在xpath中：

                 以  //div[@class="newslist"]/ul/li/a/@href 和  //title/text()为例吧！

                     ①   //                                              开始要为两个斜杠；

                     ②   div [@class="newslist"]           选择类为  class="newslist"  的  div；

                     ③   a/@href                                   提取url用@href ；

                     ④   //title/text()                               提取正文用 text（）；

                     ⑤  另外extract（）                        序列化该节点为uncoide字符串并返回list ；                        

                 具体方法可以看下面代码，我不太会表达（或者可以去看教程(*/ω╲*)）

     （4）、代码：

<span style="font-size:18px;">#coding=utf-8
import scrapy
from scrapy.http import Request
from scrapy.selector import Selector
from heart.items import HeartItem
#从items.py导入item

class heartSpider(scrapy.Spider):
    name = "heart"
    allowed_domains=["39.net"]  #网址的域名
    start_urls=[
                'http://heart0.39.net/zhlm/bljd/xzb/',
                'http://heart0.39.net/zhlm/bljd/xzb/index_1.html',
                'http://heart0.39.net/zhlm/bljd/xzb/index_2.html'
    ]            #初始网址可以不唯一,如果网址较多且规律，可以使用for循环

    def parse(self,response):
        selector=Selector(response)
        #shell载入存入response，selector在response中提取元素
        item=HeartItem()
        #导入item
        link=selector.xpath('//div[@class="newslist"]/ul/li/a/@href').extract()
        #提取原始网页上所需的 子url
        for i in range(len(link)):
            #获取所获 子url 数
            yield scrapy.Request(link[i],callback=self.parseContent,meta={'item':item})
            #为子网页做准备，以子url链接下面的访问子网页代码

    def parseContent(self,response):
        selector=Selector(response)  #载入 子response
        item=response.meta['item']   #嗯，item
        html=selector.xpath('//div[@class="art_con"]')  #获取要爬取信息的div部分
        for sel in html:
            item['title']=sel.xpath('//title/text()').extract()  #这是文章标题
            item['text']=sel.xpath('p/text()').extract()    #文章正文
            #啊啊啊啊，其实就是HTML代码嘛！！！说起来好纠结。。。
            item['link']=response.url  #那些 子url。。。
            yield item  #最后存入item

spider=heartSpider()</span>

下面是其他的文件内容。

6、pipelines.py 和 settings.py

      因为我在储存在本地，所以这里pipelines.py文件不做修改

      以下是settings.py

<span style="font-size:18px;">BOT_NAME = 'heart0'    #name
USER_AGENT='Mozilla/4.0(compatible;MSIE 5.5;Windows NT)'
FEED_URI=u'file///E:/360Apps/test/Scrapy/heart0/heartache.csv'  #储存路径
FEED_FORMAT='CSV'   #扩展名，即你想要存储成什么格式
SPIDER_MODULES = ['heart0.spiders']
NEWSPIDER_MODULE = 'heart0.spiders'</span>

7、main.py文件（与heart文件夹在同一目录下）

      是不是感觉做完以上工作就在IDE上运行会出错啊【欠揍脸  (ˉ▽￣～) 切~~】

      唔。。。至少我是。。。

      错误为：ImportError: No module named heart.items

      所以要新建一个main.py文件来“统领全局”，然后要运行这个文件：

<span style="font-size:18px;">from scrapy import cmdline
cmdline.execute("scrapy crawl heart".split())
#启动用于爬取 “39.net” 的spider
</span>

      如果还会出现以上错误，可以试着在新窗口打开文件夹试一下。

8、可能有时候用 xpath 爬取的数据不完全，可以试着用其他的抓取方法抓取这部分数据。

     我要说一句：我好讨厌这一行代码啊啊啊

   <span style="font-size:18px;">