无意间看到17小说网里面有一些小说小故事,于是决定用爬虫爬取下来自己看着玩,下图这个页面就是要爬取的来源。
![](https://i-blog.csdnimg.cn/blog_migrate/8532293c810cd93bca47d6e5da6f6bdb.png)
这个页面一共有125个标题,每个标题里面对应一个内容,如下图所示
下面直接看最核心spiders中的代码
# -*- coding: utf-8 -*-
import scrapy
from k17.items import K17Item
import json
class A17kSpider(scrapy.Spider):
name = '17k'
allowed_domains = ['17k.com']
start_urls = ['http://www.17k.com/list/271047.html']
def parse(self, response):
old_url='http://www.17k.com'
for bb in response.xpath('//div[@class="Main List"]/dl[@class="Volume"]/dd'):
##把xpath表达式作为normalize-space()函数的参数 此方法可以去除数据的值有\r\n\t
link=bb.xpath("a/@href").extract()
for newurl in link:
new_url=old_url+newurl
yield scrapy.Request(new_url, callback=self.parse_item)
def parse_item(self,response):
for aa in response.xpath('//div[@class="readArea"]/div[@class="readAreaBox content"]'):
item=K17Item()
title=aa.xpath("h1/text()").extract()###得到每一章的标题
new_title=(''.join(title).replace('\n','')).strip()
item['title']=new_title
dec= aa.xpath("div[@class='p']/text()").extract()###得到每一章的详细内容
dec_new=((''.join(dec).replace('\n','')).replace('\u3000','')).strip() ###去除内容中的\n 和\u3000和空格的问题
item['describe'] = dec_new
yield item