scrapy与selenium结合爬取网易新闻

18 篇文章 0 订阅
10 篇文章 0 订阅
# -*- coding: utf-8 -*-
import scrapy
from selenium import webdriver
from wangyiPeo.items import WangyipeoItem
class WangyiSpider(scrapy.Spider):
    name = 'wangyi'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['https://news.163.com']
    model_urls = []
    bro = webdriver.Chrome(executable_path=r'chromedriver.exe')

    def parse(self, response):
        #解析出5个板块对应的url
        li_list = response.xpath('//*[@id="index2016_wrap"]/div[1]/div[2]/div[2]/div[2]/div[2]/div/ul/li')
        model_index = [3,4,6,7,8]
        for index in model_index:
            #li依次表示的是5个板块对应的li标签
            li = li_list[index]
            #5个板块对应的url
            model_url = li.xpath('./a/@href').extract_first()
            self.model_urls.append(model_url)
            #对每一个板块的url进行手动请求的发送
            yield scrapy.Request(model_url,callback=self.parse_model)
    def parse_model(self,response):#用作于解析每一个板块对应页面数据中的新闻标题和新闻详情页的url
        #该方法中获取的response对象是没有包含动态加载出的新闻数据(是一个不满足需求的response)
        div_list = response.xpath('/html/body/div/div[3]/div[4]/div[1]/div/div/ul/li/div/div')#1+5+n
        for div in div_list:
            title = div.xpath('./div/div[1]/h3/a/text()').extract_first()
            detail_url = div.xpath('./a/@href').extract_first()
            item = WangyipeoItem()
            item['title'] = title
            yield scrapy.Request(detail_url,callback=self.parse_new_detail,meta={'item':item})
    def parse_new_detail(self,response):#解析新闻内容
        item = response.meta['item']
        content = response.xpath('//*[@id="endText"]//text()').extract()
        content = ''.join(content)
        item['content'] = content

        yield item
    #改方法只会在整个程序结束时执行一次
    def closed(self,spider):
        self.bro.quit()

 

下载中间件:

 

# -*- coding: utf-8 -*-

# Define here the models for your spider middleware
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/spider-middleware.html

from scrapy import signals
from scrapy.http import HtmlResponse
from time import sleep


class WangyipeoDownloaderMiddleware(object):

    #参数:
    #reuqest:拦截到请求对应的响应对象
    #response:拦截到所有的响应对象(1+5+n)
    #spider:爬虫类实例化的对象,可以实现爬虫类和中间件类的数据交互
    def process_response(self, request, response, spider):
        #拦截到5个板块对应的响应对象,将其替换成5个符合需求的新的响应对象进行返回
        #1.找出5个板块对应的5个不符合需求的响应对象
        if request.url in spider.model_urls:
            #就是满足需求的五个板块对应的响应对象
            #url:响应对象对应的请求对象的url
            #body:响应数据,可以由selenium中的page_source返回
            bro = spider.bro
            bro.get(request.url)
            sleep(3)
            page_text = bro.page_source #包含了动态加载的新闻数据
            new_response = HtmlResponse(url=request.url,body=page_text,encoding='utf-8',request=request)
            return new_response
        else:
            return response

 

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
这里是一个使用ScrapySelenium结合淘宝的简单示例代码: ```python import scrapy from scrapy.selector import Selector from selenium import webdriver from scrapy.http import HtmlResponse from time import sleep class TaobaoSpider(scrapy.Spider): name = 'taobao' allowed_domains = ['taobao.com'] start_urls = ['https://www.taobao.com/'] def __init__(self, *args, **kwargs): super(TaobaoSpider, self).__init__(*args, **kwargs) self.driver = webdriver.Chrome() def parse(self, response): self.driver.get(response.url) sleep(3) selector = Selector(text=self.driver.page_source) search_input = selector.css("#q") search_input.clear() search_input.send_keys("手机") btn = self.driver.find_element_by_css_selector('#J_TSearchForm > div.search-button > button') btn.click() sleep(3) while True: selector = Selector(text=self.driver.page_source) goods = selector.css('.J_MouserOnverReq') for good in goods: title = good.css('.title a::text').extract_first() price = good.css('.price strong::text').extract_first() yield { 'title': title, 'price': price } next_page = self.driver.find_element_by_css_selector('.J_Ajax.next') if 'disabled' in next_page.get_attribute('class'): break else: next_page.click() sleep(3) self.driver.quit() ``` 首先,我们需要在`__init__`方法中初始化Selenium的驱动程序。在`parse`方法中,我们使用Selenium模拟用户在淘宝搜索框中输入"手机",然后点击搜索按钮。接下来,我们使用Scrapy的选择器从页面源代码中提商品的标题和价格,并将其作为字典返回。最后,我们使用Selenium查找下一页按钮,如果按钮没有被禁用,则点击它并等待页面加载。重复此过程,直到找到所有的商品。 需要注意的是,使用Selenium数据的效率比纯粹使用Scrapy要慢得多。因此,如果可以,最好尝试避免使用Selenium数据。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值