Scrapy - 爬取极客学院系列课程信息

最新推荐文章于 2019-04-22 14:32:00 发布
最新推荐文章于 2019-04-22 14:32:00 发布
阅读量183 收藏 1
点赞数
分类专栏： scrapy 文章标签： scrapy 极客学院
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wodemamaa/article/details/89387811
版权
本文介绍了如何使用Scrapy框架爬取极客学院的课程信息，包括页面分析、spider配置和pipeline配置。在spider部分，详细讲述了各个解析函数的实现，如阶段信息、课程列表和课程详情的提取。pipeline部分则说明了如何利用openpyxl库将爬取的数据存储到多个Excel文件中，以不同的path_no作为文件区分。
摘要由CSDN通过智能技术生成

分析

需求：模拟正常浏览爬取极客学院知识体系图信息，并以EXCEL形式存储。
思路：

  1. 分析页面结构，找出有用信息特征结构
  2. 在spider中进行页面解析，以字典形式存储，返回item
  3. pipiline解析item信息，并以excel工作表形式存储到本地
  4. 进行相关配置

页面分析

矩形: 页面
圆角矩形: 页面组成
link
link
link
contain
contain
contain
contain
contain
contain
link
contain
contain
contain

知识体系图页面结构及深度
体系图列表页面
HTML5体系图页面
......
XX体系图页面
学习阶段1
......
学习阶段12
课程1
......
课程6
课程页面
最低0.47元/天 解锁文章
右左小白
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python request版 极客学院爬虫V1
sunsasi的博客
09-07 962
定向爬取极客学院视频，原本只有年费VIP只能下载，经过分析，只要找个免费体验VIP即可爬取所有视频 涉及的基本技术：python xpath 正则 com 通过python调用迅雷从组件，实现自动创建文件夹和自动添加批量下载任务，前提要成功安装迅雷和迅雷组件 思路：path路径爬取所有标签-》搜索页面所有该课程分类-》课程页面获取课程明细-》正则分析视频地址 极客学院的一直在改进，可能需要自己改
python极客学院爬虫_基于requests实现极客学院课程爬虫
weixin_39709674的博客
12-11 219
#coding=utf-8__author__ = 'scaleworld'importrequestsimportreimportsysreload(sys)sys.setdefaultencoding("utf-8")classSpider:def __init__(self):print '开始爬取极客学院课程信息。。。'#获取源代码defgetSource(self, url):html=...
[python]爬极客网课程
cn_wk的专栏
03-28 679
# -*-encoding:utf8-*- import re import requests import sys reload(sys) sys.setdefaultencoding('utf8') class pawler: ITEM_PATTERN = '(.*?)' TITLE_PATTERN = 'class="lesson-info-h2">.*?>(.*?)'
python爬取极客学院课程信息实例
人生苦短，我用python
02-28 626
用过正则表达式和requests库来爬取极客学院课程的名称， 课程简介，课程时长，课时数，上课人数。 以下为python3编写的代码 import requests import string import re # 代理头信息 kv = {'user-agent':'Mozilla/5.0'} # 爬虫类，用来实现各种功能 class spider(object): def __in...
java爬虫系列第四讲-采集"极客时间"专栏文章、视频专辑
weixin_34085658的博客
04-22 1244
为什么80%的码农都做不了架构师？>>> ...
scrapy爬取极客学院全部课程
weixin_30872867的博客
06-25 68
1 # -*- coding: utf-8 -*- 2 # scrapy爬取极客学院全部课程 3 import scrapy 4 from pyquery import PyQuery as pq 5 from jike.items import JikeItem 6 7 class JikespiderSpider(scrapy.Spider): 8 ...
python scrapy版 极客学院爬虫V2
weixin_33877885的博客
09-07 99
python scrapy版 极客学院爬虫V2 1 基本技术 使用scrapy 2 这个爬虫的难点是 Request中的headers和cookies 尝试过好多次才成功（模拟登录），否则只能抓免费课程 3文件树如下 │ jike.json 存储json文件│ run.py 运行爬虫└─jkscrapy │ items.py...
Scrapy盗墓笔记爬虫0.1版 保存到数据库mongode
人生苦短，我用python
03-20 332
这次的实例是用scrapy对盗墓笔记进行爬取，并且通过数据库mongode进行连接，这里对数据库的可视化工具为:Robo 3T 1.1.1 环境: win10 py3.6 scrapy1.6 编译器: pycharm main.py from scrapy import cmdline cmdline.execute('scrapy crawl dmoz'.split()) items.py #...
探究在线课程时长与观看人数的关系——以极客学院为例
孔天逸'Blog
02-14 1461
背景看网络课程是假期充电的好方法，遇到一节短短的干货网络课，真是让人受益匪浅、回味无穷。但不知大家有没有类似的感受，当你在线上课程平台看到一个感兴趣的课程，并迫不及待的点进去一探究竟时，巨长的课程时长让你的热情瞬间下降了一半。就算仍然饶有兴致的开始了学习，中途可能就打哈哈流泪进而放弃了，下次再看到课程时间过长的，直接pass！是不是就我自己有这个毛病呢？闲来无事，用数据分析的方法来对这个问题一探究竟
scrapy ---爬取豌豆荚并分析数据
05-28
在这个项目中，我们将利用Scrapy来爬取豌豆荚（Wandoujia）网站上的信息，然后将数据存储在MongoDB数据库中，最后通过PyEcharts库对数据进行可视化分析。 首先，我们需要了解Scrapy的基本结构。一个Scrapy项目通常...
scrapy简单案例--爬取慕课网所有课程信息
04-04
这是一个简单的scrapy入门案例，scrapy是1.5python是3
dongfangyanbao:使用 scrapy-selenium 爬取爬取东方财富网的所有个股研报信息
04-27
东方财富网个股研报信息爬虫说明文档介绍东方财富网爬虫是一个基于Scrapy-Selenium框架爬取东方财富网的个股研报标题、个股信息以及收益的爬虫。代码说明运行环境Windows 10 专业版Python 3.5/Scrapy 1.5.0/MongoDB ...
scrapy-redis-master_scrapy-redis_juzi1122_scrapy_
10-01
3. **Scrapy-Redis架构**: Scrapy-Redis通过将待爬取URLs和请求放入Redis队列，实现多个Scrapy爬虫实例并行工作，从而提高整体爬取效率。其主要组件包括：Request Queue（请求队列）、Scheduler（调度器）、Spider ...
Scrapy-redis爬取美榜整站高清美女图片.rar
05-31
在这个场景中，我们看到一个压缩包文件"Scrapy-redis爬取美榜整站高清美女图片.rar"，它很可能包含了使用Scrapy-Redis编写的Python爬虫代码，用于抓取某个网站上的美女图片。 首先，让我们深入了解Scrapy-Redis的...
磁力链磁力链磁力链.txt
最新发布
07-22
磁力链
“人力资源+大数据+薪酬报告+涨薪调薪”
07-22
人力资源+大数据+薪酬报告+涨薪调薪，在学习、工作生活中，越来越多的事务都会使用到报告，通常情况下，报告的内容含量大、篇幅较长。那么什么样的薪酬报告才是有效的呢？以下是小编精心整理的调薪申请报告，欢迎大家分享。相信老板看到这样的报告，一定会考虑涨薪的哦。
安装graphviz和pygraphviz
07-22
pygraphviz 是一个Python库，它是Graphviz图形可视化软件的Python接口。Graphviz是一个开源的图形可视化软件，广泛用于创建和编辑有向图和无向图。pygraphviz使得Python开发者能够轻松地创建和操作图形，以及执行图形的布局和可视化。 一、pygraphviz的主要功能 创建和编辑图形：pygraphviz允许开发者通过Python代码来创建图形，包括添加节点、边等元素，并且可以编辑这些元素的属性，如颜色、形状、标签等。 图形布局：pygraphviz支持多种图形布局算法，如dot、neato、circo等，开发者可以根据需要选择合适的算法来优化图形的布局。 图形可视化：pygraphviz可以将创建和编辑好的图形保存为图片文件，支持多种图片格式，如PNG、JPEG等，方便开发者进行展示和分享。
BrainF**k Devlopment Toolkit
07-22
BrainF**k Devlopment Toolkit(BFDTK)，可用于开发BrainF**k程序。
python scrapy-redis爬取豆瓣电影top250
05-26
很好，下面是一个使用 Scrapy-Redis 爬取豆瓣电影 Top250 的示例： 1. 安装 Scrapy-Redis ``` pip install scrapy-redis ``` 2. 配置 Redis 在 `settings.py` 中添加以下内容： ```python # 开启调度器 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值