Python实战演练之scrapy初体验

最近一直在做网络爬虫的练习,现在对整个爬取过程做个总结。
配置:
电脑:MacBook Pro
系统:macOS Catalina 10.15.3
Python版本:3.8
Python IDE:PyCharm
数据库:Mysql
数据库管理工具:Navicat Premium

正式进入正题

scrapy初体验

scrapy安装我前面有在macOS成功在python3环境下安装Scrapy中提到,这里就不细讲。

Scrapy框架的使用
1、使用scrapy staryproject命令来创建一个项目
2、进入项目目录,创建爬虫spider类文件
3、进入items.py创建自己的Item内容类
4、进入自定义的spider类,解析Response信息,并封装到Item中
5、使用Item Pipelines项目管道对解析出来的Item数据进行清理、验证、去重、存储。
6、执行爬取命令来进行爬取信息

今天的实战演练的目标:爬取csdn学院中的课程信息
网址:

  • https://edu.csdn.net/courses/o280/p1
1、创建scrapy项目
$ scrapy startproject csdnedu
2、创建爬虫
# 进入csdnedu
$ cd csdnedu
# 创建爬虫 
csdnedu$ scrapy genspider courses edu.csdn.net

这时候csdnedu项目中spiders文件夹里面会添加一个courses.py的文件,用来解析数据。

3、数据分析

通过对csdn学院中的课程信息进行分析,发现我们需要的数据为:课程标题、url地址、图片、讲师、总课时、价格
在items.py中,给item类定义

items.py:

import scrapy

class CoursesItem(scrapy.Item):
    '''课程信息item类:课程标题、url地址、图片、讲师、总课时、价格'''
    # define the fields for your item here like:
    title = scrapy.Field()
    url = scrapy.Field()
    pic = scrapy.Field()
    teacher = scrapy.Field()
    time = scrapy.Field()
    price = scrapy.Field()
4、数据解析

在courses.py中解析从网页爬取的课程信息,并打印item数据
注意将start_urls改为真正网址

import scrapy
from educsdn.items import CoursesItem

class CoursesSpider(scrapy.Spider):
    name = 'courses'
    allowed_domains = ['edu.csdn.net']
    start_urls = ['https://edu.csdn.net/courses/o280/p1']

    def parse(self, response):
        # 解析课程信息
        # 获取当前请求页面下的所有课程信息
        print(dd.xpath("./div[@class='titleInfor'/text()]").extract())
        dl = response.selector.css("div.course_item")
        # 遍历课程信息并封装到item
        for dd in dl:
            item = CoursesItem()
            item['title'] = dd.css("span.title::text").extract_first()
            item['url'] = dd.css("a::attr(href)").extract_first()
            item['pic'] = dd.css("img::attr(src)").extract_first()
            item['teacher'] = dd.css("span.lecname::text").extract_first()
            item['time'] = dd.css("span.course_lessons::text").extract_first()
            item['price'] = dd.css("p.priceinfo i::text").extract_first()
            print(item)

css选择器的定位,可根据网页源码进行更改

5、开始爬取
csdnedu$ scrapy crawl courses
$ scrapy crawl courses
[scrapy.utils.log] INFO: Scrapy 1.8.0 started (bot: educsdn)
[scrapy.utils.log] INFO: Versions: lxml 4.5.0.0, libxml2 2.9.10, cssselect 1.1.0, parsel 1.5.2, w3lib 1.21.0, Twisted 19.10.0, Python 3.8.0 (v3.8.0:fa919fdf25, Oct 14 2019, 10:23:27) - [Clang 6.0 (clang-600.0.57)], pyOpenSSL 19.1.0 (OpenSSL 1.1.1d  10 Sep 2019), cryptography 2.8, Platform macOS-10.15.3-x86_64-i386-64bit
......
[scrapy.core.engine] INFO: Spider opened
[scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
[scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
[scrapy.core.engine] DEBUG: Crawled (200) <GET https://edu.csdn.net/robots.txt> (referer: None)
[scrapy.core.engine] DEBUG: Crawled (200) <GET https://edu.csdn.net/courses/o280/p1> (referer: None)
{'pic': 'https://img-bss.csdn.net/20191228170738253.jpg',
 'price': '\n                            ¥69.00                        ',
 'teacher': '郭宏志',
 'time': '24课时',
 'title': '\n'
          '                                                '
          'Java小白修炼手册                        ',
 'url': 'https://edu.csdn.net/course/detail/27274'}
......
{'pic': 'https://img-bss.csdn.net/20191212221506454.jpg',
 'price': '\n                            ¥199.00                        ',
 'teacher': '李宁',
 'time': '23课时',
 'title': '\n'
          '                                                跟宁哥学python '
          'scrapy爬虫开发                        ',
 'url': 'https://edu.csdn.net/course/detail/27058'}
[scrapy.core.engine] INFO: Closing spider (finished)
......
[scrapy.core.engine] INFO: Spider closed (finished)

其中…表示省略大量重复无用信息
可以看出已经爬取成功,下一章讲一下如何爬取多页

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

fswy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值