Python爬虫爬取伯乐在线网站信息

最新推荐文章于 2024-10-03 15:15:00 发布
最新推荐文章于 2024-10-03 15:15:00 发布
阅读量892 收藏 1
点赞数
分类专栏： Python爬虫相关 文章标签： python scrapy item pipeline css
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34829447/article/details/86696982
版权

一.环境搭建

1.创建环境
  • 执行pip install scrapy安装scrapy
  • 使用scrapy startproject ArticleSpider创建scrapy项目
  • 使用pycharm导入创建的scrapy项目
2.项目结构
3.使用命令创建爬虫文件
  • scrapy genspider 爬虫名称 网站域名在spiders文件夹中创建爬虫文件

二.xpath编写爬虫代码

1.编写设计

  • pycharm没有scrapy模板，所以没法调试，我们可以通过创建main.py文件调用命令行，完成调试。

  • 在项目外侧创建main.py，代码如下

    #execute函数可以执行scrapy脚本
from scrapy.cmdline import execute
#需要sys获得工程目录
import sys
#利用os获得工程目录
import os
#需要设置工程目录,设置完工程目录之后调用execute函数才会生效
#print(os.path.dirname(os.path.abspath(__file__)))则会获取到当前main文件的路径的上一级包名
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
#execute相当于执行命令
execute(["scrapy","crawl","jobbole"])

  • 【注意】：设置setting中的ROBOTSTXT_OBEY=False，如果不设置scrapy会默认读取每一个网站上的robots协议，会把不符合协议的url给过滤掉，很快就会执行结束

  • 执行debug main则会以debug模式运行爬虫

2.利用xpath提取值

  • xpath简介

    • xpath使用路径表达式在xml和html中进行导航
    • xpath包括标准函数库
    • xpath是一个w3c的标准

  • xpath节点关系

    • 父节点
    • 子节点
    • 同胞节点
    • 先辈节点
    • 后代节点

  • xpath语法

    表达式说明
    article选取所有article元素的所有子节点
    /article选取根元素article
    article/a选取所有属于article的子元素的a元素
    //div选取所有div子元素（不论出现在文档的任何地方）
    article//div选取所有属于article元素的后代的div元素，不管它出现在article之下的任何位置
    //@class选取所有名为class的属性

  • xpath语法-谓语

    表达式说明
    /article/div[1]选取属于article子元素的第一个div元素
    /article/div[last()]选取属于article子元素的最后一个div元素
    /article/div[last()-1]选取属于article子元素的倒数第二个div元素
    //div[@lang]选取所有拥有lang属性的div元素
    //div[@lang=‘eng’]选取所有lang属性为eng的div元素

  • xpath其他语法

    表达式说明
    /div/*选取属于div元素的所有子节点
    //*选取所有元素
    //div[@*]选取所有带属性的div元素
    //div/a | //div/p选取所有div元素的a和p元素
    //span | //ul选取文档中的span和ul元素
    article/div/p | //span选取所有属于article元素和div元素的p元素 以及文档中所有span元素
    • 如果想通过属性取值则需要给定标签元素的内容，如果是任意标签则给定*
    • 如果通过@class="class类"取值，则只会匹配class只有指定的元素；如果想指定包含指定class的元素则需要使用函数contains(@class,"class类")

  • xpath使用

    • [注意]:页面上的查看源码跟检查控制台的element不一定一样，源码是源代码的html文件，检查控制台的element会有js动态生成的dom

    • jobbole.py

      # -*- coding: utf-8 -*-
import scrapy

class JobboleSpider(scrapy.Spider):
    name = 'jobbole'
    allowed_domains = ['blog.jobbole.com']
    start_urls = ['http://blog.jobbole.com/114610/'] #放入想爬取的所有url

    def parse(self, response):
        #/html/body/div[3]/div[3]/div[1]/div[1]
        #//*[@id="post-114610"]/div[1]/h1
        #scrapy返回的是一个selector而不是node,是为了方便进一步获取selector下面的selector
        re_selector = response.xpath('//*[@id="post-114610"]/div[1]/h1')
        re2_selector = response.xpath('//*[@id="post-114610"]/div[1]/h1/text()') #利用text()函数获取元素中的值
        pass

  • 如果每一次调试都运行python脚本发送http请求获取内容效率低，可以通过scrapy shell url路径的方式通过shell进行调试

    #以下是在命令行输入
scrapy shell http://blog.jobbole.com/114610/
re_selector = response.xpath('//*[@id="post-114610"]/div[1]/h1')
re_selector.extract()#提取selector的内容['<h1>微软变了！招程序员的流程完全改了</h1>']
re_selector.extract()[0]#获得列表中的第一个元素 '<h1>微软变了！招程序员的流程完全改了</h1>'
#如果提取的字符串左右有回车符换行符等等,则需要使用strip()将其去掉
#re_selector.extract()[0].strip()

  • 使用xpath爬取伯乐在线网站内容[jobbole.py]

    # -*- coding: utf-8 -*-
import scrapy
import re

class JobboleSpider(scrapy.Spider):
    name = 'jobbole'
    allowed_domains = ['blog.jobbole.com']
    start_urls = ['http://blog.jobbole.com/114610/'] #放入想爬取的所有url

    def parse(self, response):
        # 获取文章title
        title = response.xpath('//*[@id="post-114610"]/div[1]/h1/text()')
        # 获取文章创建时间
        create_date = response.xpath('//*[@id="post-114610"]/div[2]/p/text()').extract()[0].strip().replace("·","").strip()
        # 通过contains函数选择class中包含vote-post-up的元素，获得点赞数
        praise = response.xpath('//*[contains(@class,"vote-post-up")]/h10/text()').extract()[0]
        # 收藏数,获取的是字符串,需要使用正则表达式取出
        collect = response.xpath('//*[contains(@class,"bookmark-btn")]/text()').extract()[0]
        match_re = re.match(".*?(\d+).*",collect)
        if match_re:
            collect = match_re.group(1)
        else:
            collect = 0
        # 评论数
        comment = response.xpath('//a[@href="#article-comment"]/span/text()').extract()[0]
        match_re = re.match(".*?(\d+).*", comment)
        if match_re:
            comment = match_re.group(1)
        else:
            comment = 0
        # 文章内容
        content = response.xpath('//div[@class="entry"]').extract()[0]
        # 文章标签
        tag = response.xpath('//*[@id="post-114610"]/div[2]/p/a/text()').extract()
        # 利用列表生成式过滤携带评论的文章标签
        tag = [element for element in tag if not element.strip().endswith("评论")]
        # 利用join方式将列表拼成一个字符串
        tags = ",".join(tag)
        pass

三.css选择器编写爬虫代码

1.css选择器语法
表达式说明
*选择所有节点
#container选择id为container的节点
.container选取所有class包含container的节点
li a选取所有li下的所有a节点
ul + p选择ul后面的第一个p元素
div#container>ul选取id为container的第一个ul子元素
ul ~ p选取与ul相邻的所有p元素
a[title]选取所有有title属性的a元素
a[href=“http://jobbole.com”]选取所有href属性为jobbole.com值的a元素
a[href*=“jobble”]选取所有href属性包含jobbole的a元素
a[href^=“http”]选取所有href属性以http开头的a元素
a[href$=".jpg"]选取所有href属性以jpg结尾的a元素
input[type=radio]:checked选择选中的radio元素
div:not(#container)选取所有id非container的div属性
li:nth-child(3)选取第三个li元素
tr:nth-child(2n)第偶数个tr
::text利用伪类选择器获得选中的元素的内容
2.利用css选择器提取值

  • 使用response.css("选择器内容")通过css选择器获得内容

  • 利用css选择器提取伯乐在线平台内容[jobbole.py]

    # -*- coding: utf-8 -*-
import scrapy
import re

class JobboleSpider(scrapy.Spider):
    name = 'jobbole'
    allowed_domains = ['blog.jobbole.com']
    start_urls = ['http://blog.jobbole.com/114610/'] #放入想爬取的所有url

    def parse(self, response):
        ######################
        ## 利用css选择器获取内容
        ######################
        title = response.css(".entry-header h1::text").extract()[0]
        create_date = response.css("p.entry-meta-hide-on-mobile::text").extract()[0].strip().replace("·", "").strip()
        # 点赞数
        praise_nums = response.css(".vote-post-up h10::text").extract()[0]
        # 收藏数
        collect = response.css('span.bookmark-btn::text').extract()[0]
        match_re = re.match(".*?(\d+).*", collect)
        if match_re:
            collect = match_re.group(1)
        # 评论数
        comment = response.css('a[href="#article-comment"] span::text').extract()[0]
        match_re = re.match(".*?(\d+).*", comment)
        if match_re:
            comment = match_re.group(1)
        # 获得文章内容
        content = response.css("div.entry").extract()[0]
        # 获得标签
        tags = response.css("p.entry-meta-hide-on-mobile a::text").extract()
        tag = [element for element in tags if not element.strip().endswith("评论")]
        tags = ",".join(tag)
        pass

  • 如果想使用extract将selector变成list后取得第一个除了使用extract()[0]之后还可以使用extract_first()，如果获取的是空的话，使用extract()[0]会报错，而extract_first()不会报错，还可以在参数设定默认值，如果没有值则返回对应的内容

四.真实爬取数据

1.获取文章列表页中的文章url并交给scrapy下载后并进行解析
2.获取下一页url并交给scrapy进行下载，下载完成后交给parse

  • 实例代码[jobbole.py]

    # -*- coding: utf-8 -*-
import scrapy
import re
from scrapy.http import Request
from urllib import parse

class JobboleSpider(scrapy.Spider):
    name = 'jobbole'
    allowed_domains = ['blog.jobbole.com']
    start_urls = ['http://blog.jobbole.com/all-posts/'] #放入想爬取的所有url

    def parse(self, response):
        """
        1.获取文章列表页中的文章url并交给scrapy下载后并进行解析
        2.获取下一页url并交给scrapy进行下载，下载完成后交给parse
        :param response:
        :return:
        """

        #解析列表页的所有文章url并交给scrapy下载后进行解析
        #利用::attr()伪类选择器获得对应元素的属性值
        post_urls = response.css("#archive .floated-thumb .post-thumb a::attr(href)").extract()
        for post_url in post_urls:
            #利用Request方法提交请求获取对应url内容
            #url表示访问的url(parse.urljoin是借助urllib将当前url与请求url进行拼接,从而获取到真实的url),callback表示回调的函数
            yield Request(url=parse.urljoin(response.url,post_url),callback=self.parse_detail)

        #提交下一页并交给scrapy进行下载
        #两个类之间有空格则表示子元素,两个类中间没空格则表示同时满足两个类的元素
        next_url = response.css(".next.page-numbers::attr(href)").extract_first("")
        if next_url:
            yield Request(url=parse.urljoin(response.url, next_url), callback=self.parse)

    #提取文章的具体字段
    def parse_detail(self,response):
        ######################
        ## 利用css选择器获取内容
        ######################
        title = response.css(".entry-header h1::text").extract()[0]
        print(title)
        create_date = response.css("p.entry-meta-hide-on-mobile::text").extract()[0].strip().replace("·", "").strip()
        # 点赞数
        praise_nums = response.css(".vote-post-up h10::text").extract()[0]
        # 收藏数
        collect = response.css('span.bookmark-btn::text').extract()[0]
        match_re = re.match(".*?(\d+).*", collect)
        if match_re:
            collect = match_re.group(1)
        else:
            collect = 0
        # 评论数
        comment = response.css('a[href="#article-comment"] span::text').extract()[0]
        match_re = re.match(".*?(\d+).*", comment)
        if match_re:
            comment = match_re.group(1)
        else:
            comment = 0
        # 获得文章内容
        content = response.css("div.entry").extract()[0]
        # 获得标签
        tags = response.css("p.entry-meta-hide-on-mobile a::text").extract()
        tag = [element for element in tags if not element.strip().endswith("评论")]
        tags = ",".join(tag)

  • 开发流程

    • 利用Request函数执行访问指定url并通过callback回调函数处理进入url后的操作
    • 利用parse.urljoin自动将对应url添加域名，参数1是域名，参数2是url
    • 利用yield实现异步请求
    • 利用::attr()伪类选择器获取对应属性的值

五.数据存储

数据爬取的目的在于将非结构的数据源提取成结构型的数据

如果想使用Request函数向callback函数中传递内容,则需要使用meta参数

1.使用meta向Request函数的callback中传递内容

  • 需求说明：在列表页获取图片url连接传递到parse_detail函数进行解析

  • 实现思路

    • 获取时需要将之前直接获取a下的href变成先获取node节点，之后获得a下的img的src，再获取a的href，在使用Request函数中添加meta参数内容放上img_url传递给callback函数中的response
    • 在response中获取之前存入的img_url，使用response.meta.get("front_image_url","")

  • 实例代码

    # -*- coding: utf-8 -*-
import scrapy
import re
from scrapy.http import Request
from urllib import parse

class JobboleSpider(scrapy.Spider):
    name = 'jobbole'
    allowed_domains = ['blog.jobbole.com']
    start_urls = ['http://blog.jobbole.com/all-posts/'] #放入想爬取的所有url

    def parse(self, response):
        """
        1.获取文章列表页中的文章url并交给scrapy下载后并进行解析
        2.获取下一页url并交给scrapy进行下载，下载完成后交给parse
        :param response:
        :return:
        """

        #解析列表页的所有文章url并交给scrapy下载后进行解析
        #利用::attr()伪类选择器获得对应元素的属性值
        post_nodes = response.css("#archive .floated-thumb .post-thumb a")
        for post_node in post_nodes:
            image_url = post_node.css("img::attr(src)").extract_first("") #获得图片的src
            post_url = post_node.css("::attr(href)").extract_first("") #获得连接的href
            #利用Request方法提交请求获取对应url内容
            #url表示访问的url(parse.urljoin是借助urllib将当前url与请求url进行拼接,从而获取到真实的url),callback表示回调的函数
            yield Request(url=parse.urljoin(response.url,post_url),meta={"front_image_url":image_url},callback=self.parse_detail)

        #提交下一页并交给scrapy进行下载
        #两个类之间有空格则表示子元素,两个类中间没空格则表示同时满足两个类的元素
        next_url = response.css(".next.page-numbers::attr(href)").extract_first("")
        if next_url:
            yield Request(url=parse.urljoin(response.url, next_url), callback=self.parse)

    #提取文章的具体字段
    def parse_detail(self,response):
        ######################
        ## 利用css选择器获取内容
        ######################
        # 获得meta中的front_image_url,文章封面图
        front_image_url = response.meta.get("front_image_url","")
        # 获得title 
        title = response.css(".entry-header h1::text").extract()[0]
        print(title)
        create_date = response.css("p.entry-meta-hide-on-mobile::text").extract()[0].strip().replace("·", "").strip()
        # 点赞数
        praise_nums = response.css(".vote-post-up h10::text").extract()[0]
        # 收藏数
        collect = response.css('span.bookmark-btn::text').extract()[0]
        match_re = re.match(".*?(\d+).*", collect)
        if match_re:
            collect = match_re.group(1)
        else:
            collect = 0
        # 评论数
        comment = response.css('a[href="#article-comment"] span::text').extract()[0]
        match_re = re.match(".*?(\d+).*", comment)
        if match_re:
            comment = match_re.group(1)
        else:
            comment = 0
        # 获得文章内容
        content = response.css("div.entry").extract()[0]
        # 获得标签
        tags = response.css("p.entry-meta-hide-on-mobile a::text").extract()
        tag = [element for element in tags if not element.strip().endswith("评论")]
        tags = ",".join(tag)
2.item

相当于定义model

  • 在items.py文件中定义item

    class JobBoleArticleItem(scrapy.Item):
    title = scrapy.Field() #scrapy可以使用Field表示任意类型
    create_date = scrapy.Field()
    url = scrapy.Field()
    url_object_id = scrapy.Field() #对url进行编码
    front_image_url = scrapy.Field()
    front_image_path = scrapy.Field()
    praise_nums = scrapy.Field()
    comment_nums = scrapy.Field()
    fav_nums = scrapy.Field()
    tags = scrapy.Field()
    content = scrapy.Field()

  • 在jobbole.py文件中定义爬虫返回内容放到item中

    # -*- coding: utf-8 -*-
import scrapy
import re
from scrapy.http import Request
from urllib import parse

#引入item
from ArticleSpider.items import JobBoleArticleItem

class JobboleSpider(scrapy.Spider):
    name = 'jobbole'
    allowed_domains = ['blog.jobbole.com']
    start_urls = ['http://blog.jobbole.com/all-posts/'] #放入想爬取的所有url

    def parse(self, response):
        """
        1.获取文章列表页中的文章url并交给scrapy下载后并进行解析
        2.获取下一页url并交给scrapy进行下载，下载完成后交给parse
        :param response:
        :return:
        """

        #解析列表页的所有文章url并交给scrapy下载后进行解析
        #利用::attr()伪类选择器获得对应元素的属性值
        post_nodes = response.css("#archive .floated-thumb .post-thumb a")
        for post_node in post_nodes:
            image_url = post_node.css("img::attr(src)").extract_first("") #获得图片的src
            post_url = post_node.css("::attr(href)").extract_first("") #获得连接的href
            #利用Request方法提交请求获取对应url内容
            #url表示访问的url(parse.urljoin是借助urllib将当前url与请求url进行拼接,从而获取到真实的url),callback表示回调的函数
            yield Request(url=parse.urljoin(response.url,post_url),meta={"front_image_url":image_url},callback=self.parse_detail)

        #提交下一页并交给scrapy进行下载
        #两个类之间有空格则表示子元素,两个类中间没空格则表示同时满足两个类的元素
        next_url = response.css(".next.page-numbers::attr(href)").extract_first("")
        if next_url:
            yield Request(url=parse.urljoin(response.url, next_url), callback=self.parse)

    #提取文章的具体字段
    def parse_detail(self,response):
        ######################
        ## 利用css选择器获取内容
        ######################
        # 实例化item
        article_item = JobBoleArticleItem()
        # 获得meta中的front_image_url,文章封面图
        front_image_url = response.meta.get("front_image_url","")
        # 获得title
        title = response.css(".entry-header h1::text").extract()[0]
        print(title)
        create_date = response.css("p.entry-meta-hide-on-mobile::text").extract()[0].strip().replace("·", "").strip()
        # 点赞数
        praise_nums = response.css(".vote-post-up h10::text").extract()[0]
        # 收藏数
        collect = response.css('span.bookmark-btn::text').extract()[0]
        match_re = re.match(".*?(\d+).*", collect)
        if match_re:
            collect = match_re.group(1)
        else:
            collect = 0
        # 评论数
        comment = response.css('a[href="#article-comment"] span::text').extract()[0]
        match_re = re.match(".*?(\d+).*", comment)
        if match_re:
            comment = match_re.group(1)
        else:
            comment = 0
        # 获得文章内容
        content = response.css("div.entry").extract()[0]
        # 获得标签
        tags = response.css("p.entry-meta-hide-on-mobile a::text").extract()
        tag = [element for element in tags if not element.strip().endswith("评论")]
        tags = ",".join(tag)

        #填充item
        article_item['title'] = title
        article_item['title'] = response.url
        article_item['create_date'] = create_date
        article_item['front_image_url'] = [front_image_url]
        article_item['praise_nums'] = praise_nums
        article_item['comment_nums'] = comment
        article_item['fav_nums'] = collect
        article_item['tags'] = tags
        article_item['content'] = content

        yield article_item #将item传递到pipeline中
3.pipeline

  • pipeline主要用于做数据处理

  • item赋值之后就会传递到pipeline.py中，但需要将settings中的

    ITEM_PIPELINES = {
   'ArticleSpider.pipelines.ArticlespiderPipeline': 300,
}

    取消注释

  • 在settings中设置下载图片的pipeline(scrapy已经给提供了,在site-package->scrapy->pipelines->images.py->ImagesPipeline),添加到配置的ITEM_PIPELINES中(为item流经的管道,后面的数字表示处理顺序,数字越小就越早进入pipeline)

    #先进入ImagePipeline再进入ArticleSpiderPipeline
ITEM_PIPELINES = {
   'ArticleSpider.pipelines.ArticlespiderPipeline': 300,
   'scrapy.pipelines.images.ImagesPipeline': 1,
}

  • ImagePipeline主要用于存储图片,需要在setting中配置下载传递item中的哪个字段，想保存图片还需要安装PIL库pip install pillow

    import os
#先进入ImagePipeline再进入ArticleSpiderPipeline
ITEM_PIPELINES = {
   'ArticleSpider.pipelines.ArticlespiderPipeline': 300,
   'scrapy.pipelines.images.ImagesPipeline': 1,
}
#配置下载的是哪些字段,将指定的字段视作一个数组,故item中图片url应为数组格式
IMAGES_URLS_FIELD = "front_image_url"
#设置图片保存路径[先创建一个images文件夹]
project_dir = os.path.abspath(os.path.dirname(__file__)) #获得当前文件夹的绝对路径
IMAGES_STORE = os.path.join(project_dir,"images")

  • 此时执行main.py会发现在images文件夹下会存储对应的网络图片

  • 自定义存储图片pipeline

    • 配置setting.py，设置过滤掉的图片（表示必须大于100*100）

      ITEM_PIPELINES = {
   'ArticleSpider.pipelines.ArticlespiderPipeline': 300,
   'scrapy.pipelines.images.ImagesPipeline': 1,
}

IMAGES_URLS_FIELD = "front_image_url"
project_dir = os.path.abspath(os.path.dirname(__file__))
IMAGES_STORE = os.path.join(project_dir,"images")
# 表示下载的图片必须要是大于100*100的
#IMAGES_MIN_HEIGHT = 100 #在ImagesPipeline中使用到了此变量
#IMAGES_MIN_WIDTH = 100 #在ImagesPipeline中使用到了此变量

    • ImagesPipeline中的item_completed函数中可以获取到图片的实际下载地址（需要重载）

    • pipelines.py实例代码

      # -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
from scrapy.pipelines.images import ImagesPipeline

class ArticlespiderPipeline(object):
    def process_item(self, item, spider):
        return item

# 继承ImagePipeline
class ArticleImagePipeline(ImagesPipeline):
    def item_completed(self, results, item, info):
        # result中包含一个tuple,一个是状态值,一个是返回对象
        for ok,value in results:
            image_file_path = value["path"]
        item["front_image_path"] = image_file_path
        return item

  • 自定义存储json的pipeline

    • setting.py配置调用pipeline

      ITEM_PIPELINES = {
   'ArticleSpider.pipelines.ArticlespiderPipeline': 300,
   'ArticleSpider.pipelines.JsonWithEncodingPipeline': 2, #添加存储到json文件的pipeline
   'ArticleSpider.pipelines.ArticleImagePipeline': 1,
   # 'scrapy.pipelines.images.ImagesPipeline': 1,
}

    • pipelines.py配置存储json的pipeline

      class JsonWithEncodingPipeline(object):
    def __init__(self):
        # 利用codecs方式打开文件,与open函数不同在于编码,可以省去很多编码方面的繁杂工作
        self.file =  codecs.open("article.json","w",encoding="utf-8")
    def process_item(self, item, spider):
        #利用json.dumps函数将item存储成json
        lines = json.dumps(dict(item),ensure_ascii=False) + "\n"
        #写入json文件中
        self.file.write(lines)
        #process_item函数一定要返回item,因为下一个pipeline还会使用此item
        return item
    #在spider close的时候关闭file
    def spider_closed(self,spider):
        self.file.close()
      • 首先利用codecs.open打开文件
      • 使用write方法将转换的json写入
      • 使用file的close方法关闭文件写入

    • scrapy提供了方便的exporters机制,帮助我们很方便的将item导出成各种类型的文件[前提是setting.py中调用此pipeline,此处省略去写]

      # 利用json exporter
class JsonExporterPipeline(object):
    #调用scrapy提供的json exporter导出json文件
    def __init__(self):
        self.file = open('articleexporter.json','wb') # 二进制方式打开
        self.exporter = JsonItemExporter(self.file,encoding = "utf-8",ensure_ascii=False)
        self.exporter.start_exporting()
    def process_item(self, item, spider):
        self.exporter.export_item(item)
        return item
    def close_spider(self,spider):
        self.exporter.finish_exporting()
        self.file.close()
      • 使用open方法打开文件并创建exporter
      • 执行exporter的start_exporting方法开启exporter
      • 执行exporter的export_item方法将item写入exporter
      • 执行exporter的finish_exporting方法结束export
      • 关闭文件
4.使用MySQL存储数据

  • 修改jobbole.py中的create_date为date类型(便于存储到mysql中的date类型)

  • 创建sql表
    在这里插入图片描述

  • 安装mysql驱动pip install mysqlclient

  • 定义数据存储pipeline，直接将item存储到mysql中

    class MysqlPipeline(object):
    def __init__(self):
        #连接mysqldb,创建连接
        self.conn = MySQLdb.connect('127.0.0.1','root','123456','scrapy',charset="utf8",use_unicode=True)
        #创建cursor
        self.cursor = self.conn.cursor()
    def process_item(self, item, spider):
        insert_sql = """
            insert into jobbole_article(title,create_date,url,url_object_id,front_image_url,front_image_path,comment_nums,fav_nums,praise_nums,tags,content)
            VALUES (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)
        """
        self.cursor.execute(insert_sql,(item["title"],item["create_date"],item["url"],item["url_object_id"],item["front_image_url"],item["front_image_path"],item["comment_nums"],item["fav_nums"],item["praise_nums"],item["tags"],item["content"]))
        self.conn.commit()

  • 上述方法(execute和commit操作是同步操作)在后期爬取加解析会快于数据存储到mysql,会导致阻塞。使用twisted框架提供的api可以完成数据的异步写入。

    • 在setting.py中配置相关数据信息

      MYSQL_HOST = "127.0.0.1"
MYSQL_DBNAME = "scrapy"
MYSQL_USER = "root"
MYSQL_PASSWORD = "123456"

    • 使用twisted框架实现异步的数据写入

      #异步mysql插入
class MysqlTwistedPipeline(object):
    #setting中包含setting.py中的内容
    @classmethod
    def from_settings(cls,settings):
        dbparms = dict(
            host = settings["MYSQL_HOST"],
            db = settings["MYSQL_DBNAME"],
            user = settings["MYSQL_USER"],
            passwd = settings["MYSQL_PASSWORD"],
            charset = "utf8",
            cursorclass = MySQLdb.cursors.DictQursor,
            use_unicode = True
        )
        #创建连接池,参数1使用的dbapi的name,
        dbpool = adbapi.ConnectionPool("MySQLdb",**dbparms)
        return cls(dbpool)
    def __init__(self,dbpool):
        self.dbpool = dbpool
    def process_item(self, item, spider):
        #使用twisted将mysql插入变成异步执行,参数1表示要异步执行的函数,参数2表示执行的item
        query= self.dbpool.runInteraction(self.do_insert,item)
        query.addErrback(self.handle_error)#处理异常
    def do_insert(self,cursor,item):
        #执行具体的插入
        insert_sql = """
                    insert into jobbole_article(title,create_date,url,url_object_id,front_image_url,front_image_path,comment_nums,fav_nums,praise_nums,tags,content)
                    VALUES (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)
                """
        cursor.execute(insert_sql, (
        item["title"], item["create_date"], item["url"], item["url_object_id"], item["front_image_url"],
        item["front_image_path"], item["comment_nums"], item["fav_nums"], item["praise_nums"], item["tags"],
        item["content"]))
        #不需要commit,会自动进行commit
    def handle_error(self,failure):
        #处理异步插入的异常
        print(failure)

未完待续…

汪喆_Jack
关注
专栏目录
Python爬虫入门教程 99-100 Python爬虫在线服务大全
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
10-27 2万+
python爬虫不能一味的蛮干，有时候借助第三方提供的工具或者服务，快速达成爬取目标，不失为一种奇妙的解决技巧。
怎么用python爬虫爬取数据集_Python scrapy爬虫爬取伯乐在线全部文章，并写入数据库...
weixin_33232550的博客
01-12 529
伯乐在线爬虫项目目的及项目准备：1.使用scrapy创建项目2.创建爬虫，bole 域名 jobbole.com3.Start_urls = [‘http://blog.jobbole.com/all-posts/’]4.爬取所有页数的文章5.文章列表页需要数据a)缩略图的地址b)详情url地址6.详情页面要提取的数据# 博客标题# 博客创建时间# 博客url# 将url经过md5加密生成id...
Python 初学者的一个帖子，Mark
lbd2008的专栏
01-28 1846
原文地址  http://blog.jobbole.com/32748/ 以下是我近些年收集的一些Python实用技巧和工具，希望能对你有所帮助。 交换变量 1 2 3 4 5 6 7 8 9 x = 6 y = 5   x, y =
10 个最佳网络爬虫工具和软件（非常详细），零基础入门到精通，看这一篇就够了
最新发布
weixin_51725318的博客
10-03 2761
10 个最佳网络爬虫工具和软件（非常详细），零基础入门到精通，看这一篇就够了
Python爬虫爬取伯乐在线
Jack汪喆的技术分享栏
01-30 940
一.环境搭建 1.创建环境 执行pip install scrapy安装scrapy 使用scrapy startproject ArticleSpider创建scrapy项目 使用pycharm导入创建的scrapy项目 2.项目结构 scrapy.cfg：scrapy配置文件 settings.py：配置代码文件信息 pipelines.py：和数据存储相关的文件 middlewares...
边学边敲边记之爬虫系列(八)：Scrapy系统爬取伯乐在线
简说Python的博客
09-05 2104
一、前言 上一篇边学边敲边记爬虫系列七给大家仔细讲解了如何用Xpath分类爬取医疗信息网站医疗器材名称和介绍图片，以及三种最常用的存储方法。 本篇是本系列的第八篇了，今天给大家讲讲如何用Scrapy分类系统爬取伯乐在线文章信息。 二、 三、看代码，边学边敲边记Scrapy爬取伯乐在线 1.爬取逻辑思路分析 图上已经绘画和写的比较清楚了，一个简单思路就是：请求页面 -&amp;amp;amp;gt; 获取文...
python爬取伯乐在线_python 爬取伯乐在线完整版
weixin_36140358的博客
02-21 242
在jobbole.pyimport scrapyimport reimport datetimefrom urllib import parsefrom scrapy.http import Requestfrom ArticleSpider.items import JobBoleArticleItemfrom ArticleSpider.utils.common import get_md5f...
基于Python的伯乐在线网全站文章信息爬取设计源码
09-30
该项目为基于Python实现的伯乐在线网全站文章信息爬取设计源码，包含48个文件，包括26个JPG图片、10个Python脚本、5个XML配置、2个Markdown文件、1个Git忽略文件、1个Idea项目文件、1个许可证文件、1个JSON文件、1个...
Python-CrawlJobble伯乐在线全站爬虫
08-12
【Python-CrawlJobble伯乐在线全站爬虫】是一个基于Python编程语言的网络爬虫项目，主要用于抓取伯乐在线网站的全站数据。这个爬虫程序可以帮助开发者或者数据分析人员收集、整理伯乐在线上的各类信息，如职位招聘...
scrapy爬取伯乐在线博客文章保存到本地数据库
11-09
scrapy爬取伯乐在线博客文章列表保存到本地数据库。这个是本人最近学习爬虫的一个实践案例，源码解析详情请移步博文：https://blog.csdn.net/xiaocy66/article/details/83834261
使用scrapy爬取伯乐在线文章并保存到mysql
05-28
Scrapy是一个强大的Python爬虫框架，它为开发者提供了一套高效、灵活的工具，用于爬取网站并提取结构化数据。在这个项目中，我们利用Scrapy来爬取伯乐在线的文章，并将抓取到的数据存储到MySQL数据库中，实现数据的...
网站爬取工具
11-24
支持爬取所有网站的html js css 等的网站信息 。对于抓取插件 ，抓取数据的同学很有用哦
免费网页数据爬取工具
09-18
免费网页数据爬取工具
网站爬取工具，可爬网站静态的HTML
06-02
网站爬取工具，可爬网站静态的HTML
知乎爬虫(知乎网站爬取工具,爬取知乎网页内容)
06-17
知乎爬虫(知乎网站爬取工具,爬取知乎网页内容)
python在线爬虫_Python爬虫入门教程 99-100 Python爬虫在线服务大全
weixin_39622747的博客
02-10 522
本篇文章梦想橡皮擦会为大家介绍一些 python 爬虫相关的在线服务，这些在线服务或者工具很多时候都会大幅度的提高爬取数据的速度。为何写本篇文章爬虫百例博客已经临近结尾，最即将收尾之际，希望这篇文章可以带给大家更多的爬虫爬取思路，毕竟对于 python 爬虫爱好而言，更便利，更高效的获取到数据才是我们追求的目标。除了自己编码代码以外，有些时候我们可以借助外部的力量，达成自己的目的，而这些就是第三方...
Anaconda使用总结 - Python - 伯乐在线
weixin_33806300的博客
09-15 361
Anaconda使用总结 - Python - 伯乐在线
python爬取伯乐在线_Crawl Jobble - 伯乐在线全站爬虫
weixin_39990558的博客
12-10 216
Crawl Jobble - 伯乐在线全站爬虫抓取流程以 全部文章 的首页为爬取起始点，获取每页所有文章详情页URL。进入文章详情页，获取文章的标题、发布时间、转发收藏评论数、文章正文等，并获取文章的作者昵称及个人主页链接。进入个人主页获取注册时间、城市、单位、网站和粉丝数、关注者等信息，并获取粉丝列表页URL。进入粉丝列表页，获取所有粉丝的个人主页URL。将粉丝个人主页URL返回至个人主页解析函...
python在线爬虫_Python爬虫偷懒神器！快速一键生成Python爬虫请求头
weixin_39611031的博客
02-10 1174
今天介绍个神奇的网站！堪称爬虫偷懒的神器！我们在写爬虫，构建网络请求的时候，不可避免地要添加请求头( headers )，以 mdn 学习区为例，我们的请求头是这样的：一般来说，我们只要添加user-agent就能满足绝大部分需求了，Python 代码如下：import requestsheaders = {#'authority': 'developer.mozilla.org',#'pra...
python爬虫爬取中关村在线
08-22
你可以使用Python来编写爬虫程序，来爬取中关村在线的网页内容。以下是一个简单的示例代码，演示如何使用Python的 requests 和 BeautifulSoup 库来实现爬虫功能： ```python import requests from bs4 import ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值