网易新闻 scrapy +selenium

利用scrapy框架进行网站内容的爬取，这个时候不可避免地就会遇到动态加载的数据。这个时候就需要与selenium结合起来，用selenium进行模拟浏览器登陆，获得动态加载的数据。具体地说是在下载中间件的那一步将相应数据进行处理，得到动态加载的数据，再将这个数据返回个spider。这一篇博客可能对这个原理部分讲的更清楚scrapy中selenium的应用

获取网易新闻这个项目原教程链接是让我们能够将scrapy与selenium结合起来使用。我觉得最重要的是要理解下面这张图

如果说能基本理解的话，也就能理解下面这段代码里面的方法
wangyi.py

import scrapy
from selenium import webdriver
from wangyiPro.items import WangyiproItem

class WangyiSpider(scrapy.Spider):
    name = 'wangyi'
    # allowed_domains = ['www.x.c']
    start_urls = ['https://news.163.com/']
    models_url = []

    def __init__(self):
        self.brow = webdriver.Chrome(executable_path='D:\\practice_code\python\spider_basic\\tutorial_last_part\\chromedriver.exe')
    def parse(self, response):
        li_list = response.xpath('//*[@id="index2016_wrap"]/div[1]/div[2]/div[2]/div[2]/div[2]/div/ul/li')
        li_index = [3,4,6,7]
        # print('li_list', li_list)

        for index in li_index:
            url = li_list[index].xpath('./a/@href').extract_first()
            self.models_url.append(url)
        # print('models_url', self.models_url)

        #对每一个模块对应的url发起请求
        for url in self.models_url:
            yield scrapy.Request(url, callback=self.parse_model)

    def parse_model(self, response):
        div_list = response.xpath('/html/body/div/div[3]/div[4]/div[1]/div/div/ul/li/div/div')
        for div in div_list:
            title = div.xpath('.//div/div[1]/h3/a/text()').extract_first()
            new_detail_url = div.xpath('.//div/div[1]/h3/a/@href').extract_first()

            item = WangyiproItem()
            item['title'] = title
            # 对详情页发起请求
            yield scrapy.Request(url=new_detail_url, callback=self.parse_detail, meta={'item': item})
            # 注意上面对于meta传参的作用，将title与content进行合并，但两个在不同的方法里面
    def parse_detail(self, response):
        content = response.xpath('//*[@id="content"]/p/text()').extract()
        content = ''.join(content)
        item = response.meta['item']
        item['content'] = content

        yield item

    def closed(self, spider):
        self.brow.quit()

目前来看，刚开始接触这类代码自己写的话最难的地方就是参数的传递，像这个例子中title像下面的传递给parse_detail()方法就是很好的例子。

下面这段是持久化存储的代码
pipelines.py

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
from itemadapter import ItemAdapter


class WangyiproPipeline:

    def __init__(self):
        self.fp = None

    # 下面三个方法都是在重写父类方法
    def open_spider(self, spider):  # spider
        print('打开文件')
        self.fp = open('./wangyi_title.txt', 'w', encoding='utf-8')

    def process_item(self, item, spider):
        # with open('./wangyi_title/', 'w', encoding='utf-8') as fp:  #这样的话只会保留最后一个新闻

        # length = len(item['content'])
        # print(length)
        # con_str = ''
        # for i in range(length // 80):
        #     con_str += item['content'][i*80:(i+1)*80]
        #     con_str += '\n'
        self.fp.write('title: ' + item['title'] + '\n')
        self.fp.write('content: ' + item['content'] +'\n')
        print(item['title'])
        print('content:', item['content'])
        return item
    def close_spider(self, spider):
        self.fp.close()
        print('文件已经关闭')

问题记录

• 用meta进行参数传递是很重要的一个点
• pipelines.py中打开文件和关闭文件都是对父类方法的重写，里面的参数spider不能掉。
• 本来是要将写入的数据每80个子换一行的结果就是换不了。这个就不搞了