scrapy代码案例

1 记录基本响应代码

class MyblobSpider(scrapy.Spider):

    name = 'myblob'
    allowed_domains = ['blog.csdn.net']
    start_urls = ['https://blog.csdn.net/gdengden/article/details/80293229']

    def parse(self, response):
        fname='a1.txt'
        x=response.encoding
        # 得到响应体编码
        mbody=response.body
        # print(type(mbody),mbody)
        # 字符串转码
        s=str(mbody,encoding=x)
        # 注意中转码问题，报错UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position ... 问题解决办法之一
        # open(fname,'w',encoding='utf-8').write(s).close()
        # xpath
        # response 对象以 .selector 属性提供了一个 selector，xpath返回符合xpath规则的列表
        # Selector 的实例时对选择某些内容响应的封装。
        # response 是 HTMLResponse 或 XMLResponse 的一个对象，将被用来选择和提取数据。
        # text 是在 response 不可用时的一个 unicode 字符串或 utf-8 编码的文字。将 text 和 response 一起使用时未定义行为。

        # extract()
        # 串行化并将匹配到的节点返回一个 unicode 字符串列表。
        # mtitle=response.selector.xpath('//div[@class="article-title-box"]/h6/text()').extract()
        # print(mtitle[0])
        # 获取超链接中带有image字样的链接 列表集合
        # mpaths=response.xpath('//a[contains(@href, "image")]/@href').extract()
        # mpaths=response.css('a[href*=image]::attr(href)').extract()
        #获取超链接中包含的img元素的集合
        # mpaths=response.xpath('//a[contains(@href, "image")]/img/@src').extract()

        # Selector 也有一个 .re() 方法，用来通过正则表达式来提取数据。然而，不同于使用 .xpath() 或者 .css() 方法，.re() 方法返回 Unicode 字符串的列表。所以无法构造嵌套式的 .re() 调用
        # re(regex)
        # 应用给定的
        # regex，并返回匹配到的
        # unicode
        # 字符串列表。
        # regex可以是一个已编译的正则表达式，也可以是一个将被
        # re.compile(regex)
        # 编译为正则表达式的字符串。
        mpaths=response.xpath('//a[contains(@href, "image")]/text()').re(r'Name:\s*(.*)')
        print(mpaths)
        # css(query)
        # 应用给定的 CSS 选择器，返回 SelectorList 的一个实例。
        # query是一个包含 CSS 选择器的字符串。计算机视觉牛人博客和代码汇总（全）</h6>
    </div>
2 将响应数据封装到对象并生化对象
A: 修改生成的items.py文件
    import scrapy
class MynetItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    pname=scrapy.Field()
    pimg=scrapy.Field()
B: 修改自定义类 MyblobSpider
import scrapy
from mynet.items import MynetItem

class MyblobSpider(scrapy.Spider):
    name = 'myblob'
    allowed_domains = ['blog.csdn.net']
    start_urls = ['https://blog.csdn.net/gdengden/article/details/80293229']

    def parse(self, response):
        fname='a1.txt'
        x=response.encoding
        # 得到响应体编码
        mbody=response.body
        # print(type(mbody),mbody)
        # 字符串转码
        s=str(mbody,encoding=x)
        # 得到图片路径
        imgs=response.xpath('//div[contains(@class,"profile-intro")]//div[contains(@class,"avatar-box")]//img//@src').extract()
        imgpath=imgs[0]
        pname=response.xpath('//div[contains(@class,"user-info")]//p[contains(@class,"csdn-tracking-statistics")]/a/text()').extract()
        print(f'pname:{pname[0]}')

        # 封装对象
        it=MynetItem()
        it['pname']=pname[0]
        it['pimg']=imgpath

        return it 
C: 修改运行代码文件
from scrapy import cmdline
cmdline.execute('scrapy crawl myblob -o personinfo.json'.split())