Scrapy爬虫实例——南方都市报

1.目录结构

工程目录下： 忽略__pycache__目录（缓存目录），应该是类似java编译后的class文件。目录结构如下：
└─  SouthCity #工程（project）名
    │  
    │  scrapy.cfg              #scrapy爬虫部署的配置文件（新建项目的时候自动生成）
    │
    └─SouthCity #spider名
        │  items.py            #Items代码模块   
        │  middlewares.py      #Middlewares模块  
        │  pipelines.py        #Pipelines模块
        │  settings.py         #scrapy爬虫的配置文件（配置定制的scrapy组件）
        │  __init__.py
        │
        └─spiders              #spider模块目录
           │  mpage.py           #spider代码
           └─  __init__.py

2.爬虫简介

该爬虫主要分为3个部分：
自定义item（items.py ） scrapy内置的数据结构
爬取部分（mpage.py） 解析链接并存到item中
存储部分（pipelines.py） 从item中取出，存到数据库

3.自定义item

# -*- coding: utf-8 -*-
import scrapy

# 继承crapy.Item，
# 定义自己的数据结构
class ArticalItem(scrapy.Item):
    leading_title = scrapy.Field() #大标题  
    title = scrapy.Field() #标题
    subtitle = scrapy.Field() #副标题
    link = scrapy.Field() #链接  
    source = scrapy.Field() #新闻来源
    writeTime = scrapy.Field() #编写时间  
    section = scrapy.Field() #板块  
    author = scrapy.Field() #作者
    news =  scrapy.Field()  #新闻内容


修改Setting.py
ITEM_PIPELINES = {
  'SouthCity.pipelines.MySQLStoreCnblogsPipeline': 301,

}

4.爬取部分

#   mpage.py
#总共三个部分，也就是爬取的三个步骤。

#parse              拿到报纸所有的板块的url
#parse_section      拿到当前板块的所有新闻的url
#parse_page         取得对应的新闻信息，放到定义的item种

# -*- coding: utf-8 -*-
import scrapy
from bs4 import BeautifulSoup
from datetime import datetime

from SouthCity.items import ArticalItem
nav={}

class MpageSpider(scrapy.Spider):
    name = 'mpage'
    # allowed_domains = ['http://epaper.oeeee.com/epaper/A/html/']
    start_urls = ['http://epaper.oeeee.com/epaper']

    def parse(self, response):
        html = response.body
        soup=BeautifulSoup(html,'html.parser')
        paper_div=soup.find('div','shortcutbox')
        a=paper_div.find_all('a')

        for i in a:
            href=i.get('href')
            link=response.urljoin(href) #自动拼接
            # link='http://epaper.oeeee.com/epaper/'+href[href.find('A'):] (手动拼接相对连接)
            nav[i.text]=link
            try:
                #yield 的作用是一次提交一次请求后，继续执行。避免一次返回一个迭代对象，占用过多的内存。
                yield scrapy.Request(link,callback=self.parse_section)
            except:
                continue
        # print(nav)

    def parse_section(self, response):
        html = response.body
        soup=BeautifulSoup(html,'html.parser')
        paper_div=soup.find('div','main-list')
        a=paper_div.find_all('a')
        nav={}
        for i in a:
            href=i.get('href')
            link=response.urljoin(href)

            nav[i.text]=link
            try:
                yield scrapy.Request(link,callback=self.parse_page)
            except:
                continue

        # print(nav)
    def parse_page(self,response):
        detailbox=[]
        artical='  '

        html = response.body  
        soup = BeautifulSoup(html, "html.parser")  


        # try:
        info = soup.find('div', "main-600 fl")
        #print(1)
        detail=info.find_all('span')
        # detailbox.append(detail[1].text)
        #print(2)
        for dt in detail:
            try:
                dts=dt.text
                dts=dts[dts.find('：')+1:].strip()
                detailbox.append(dts)
            except:
                detailbox.append(dt.text)

        #print(3)
        news=info.find('div','text')
        pp=news.find_all('p')
        #print(4)
        for p in pp:
            pt = p.text
            pt = pt.strip().replace("\xa0","")
            artical += pt
        #print(5)
        try:
            head1=info.find('h1').text
            head2=info.find_all('h2')
        except:
            pass
        item = ArticalItem()  
        #print(6)
        item['leading_title'] = head2[0].text
        item['title'] = head1
        item['subtitle'] = head2[1].text
        item['link']=response.url
        item['writeTime']=detailbox[1]
        item['source']=detailbox[0]
        item['section']=detailbox[3]
        item['author']=detailbox[4]
        item['news']=artical
        #print(7)
        yield item
        return item

        # print(item)  

4.存储部分

# pipeline.py
#两部分：
# __init__          定义数据库的连接    
# process_item      利用定义好的连接进行存储


import pymysql
import logging
from hashlib import md5
import datetime
import sys


class MySQLStoreCnblogsPipeline(object):
    #定义一个变量，使得类中可以访问。就这点而言，相当于java的成员变量。

    def __init__(self):
        self.connect = pymysql.connect(
            host='localhost',
            db='TESTDB',
            user='pymysql',
            passwd='123123',
            charset='utf8',
            use_unicode=True)
        self.cursor = self.connect.cursor()

    def process_item(self, item, spider):
        global NewTable_Tag
        now = datetime.datetime.now()
        date=str(now.date())
        date_s=date[:4]+date[5:7]+date[8:]
        print(date_s) #日期序列 如 20170912
        table_name='sc_'+date_s #表名
        #建表的sql语句
        sql='CREATE TABLE SC_%s (leading_title varchar(255), title varchar(255), subtitle varchar(255), link varchar(250) NOT NULL primary key, writeTime varchar(20), source varchar(100),section varchar(50),author varchar(100),news text,updated datetime,img varchar(100))'%date_s

        #查询的sql语句
        sql_query = "SELECT 1 from SC_%s where link = '%s'"%(date_s,item['link'])

        #更新的sql语句
        sql_update = """UPDATE sc_%s set leading_title = '%s' ,
                                         title = '%s', 
                                         subtitle = '%s' ,
                                         link = '%s' , 
                                         writetime = '%s' , 
                                         source = '%s' ,
                                         section = '%s' , 
                                         author = '%s' ,
                                         news = '%s' ,
                                         updated = '%s' 
                                    where link = '%s'
                    """% (date_s,
                          item['leading_title'],
                          item['title'],
                          item['subtitle'],
                          item['link'],
                          item['writeTime'],
                          item['source'],
                          item['section'],
                          item['author'],
                          item['news'],
                          now,
                          item['link'])

        #插入新值的sql语句
        sql_insert =  """
                    insert into sc_%s(leading_title, title, subtitle, link, writeTime,source,section,author,news,updated) 
                    values('%s', '%s', '%s','%s', '%s', '%s', '%s', '%s', '%s', '%s')
                    """% (date_s,
                        item['leading_title'],
                        item['title'],
                        item['subtitle'],
                        item['link'],
                        item['writeTime'],
                        item['source'],
                        item['section'],
                        item['author'],
                        item['news'],
                        now)
        print('我在loc1')


                    #暂时忽略：tag 如何不重复检查？
        #检查是否存在该表
        self.cursor.execute('show tables')
        tables=self.cursor.fetchall()

        if  (table_name,) not in tables:
          try:
              #不存在，新建表
              self.cursor.execute(sql)
          except Exception as e:
              raise e
        print('我在loc2') 


        try:
            #查询当前链接item['link']是否存在
            self.cursor.execute(sql_query)
            ret = self.cursor.fetchone()
            if ret:
                self.cursor.execute(sql_update)
                print("成功更新一条数据!")
                #print """
                #    update cnblogsinfo set title = %s, description = %s, link = %s, listUrl = %s, updated = %s where linkmd5id = %s
                #""", (item['title'], item['desc'], item['link'], item['listUrl'], now, linkmd5id)


            #item['link']不存在   
            else:
                self.cursor.execute(sql_insert)
                print("成功插入一条数据!")
                #print """
                #    insert into cnblogsinfo(linkmd5id, title, description, link, listUrl, updated)
                #    values(%s, %s, %s, %s, %s, %s)
                #""", (linkmd5id, item['title'], item['desc'], item['link'], item['listUrl'], now)
            print('我在loc3')
            self.connect.commit()
            # self.cursor.close() # 关闭游标，似乎没有关闭连接（不知会有什么影响，实际使用没发觉有问题）

        except Exception as error:
            logging.warning(error)
        return item