php 爬课程表信息,Ruby爬取教务系统生成课程表

我为什么要虐自己

最近觉得课程格子广告越来越多,乱七八糟的东西越来越多,完全失去了一开始的存在价值,并且没有电脑端app,想查看课程必须拿出手机,而我使用电脑频率要比手机高,所以才有了折腾的动力。

于是我打开日历app,开始添加日程,添加一门课,填写课程名字,填写上课地点,选择日期,选择时间,选择重复方式,选择重复次数,加点备注……

看了一下课程数量,因为上课时间地点不同,每个课程还有可能要添加好几个日程,实在是有点多。

写脚本呗。

日历的格式

我随便导出了一个日程,导出的文件格式是ics,用文本编辑器打开,可以看到下面这样的数据结构。

BEGIN:VCALENDAR

VERSION:2.0

X-WR-CALNAME:课程表

X-APPLE-CALENDAR-COLOR:#F64F00FF

BEGIN:VTIMEZONE

TZID:Asia/Shanghai

X-LIC-LOCATION:Asia/Shanghai

BEGIN:STANDARD

DTSTART:19010101T000000

RDATE;VALUE=DATE-TIME:19010101T000000

TZNAME:CST

TZOFFSETFROM:+080543

TZOFFSETTO:+0800

END:STANDARD

END:VTIMEZONE

BEGIN:VEVENT

DTEND;TZID=Asia/Shanghai:20170420T093500

LAST-MODIFIED:20170110T165154Z

UID:088E2918-EEF6-4860-BFE6-5AA498939D98

DTSTAMP:20170111T050243Z

LOCATION:博B403

DESCRIPTION:测试

SEQUENCE:0

SUMMARY:软件质量保证与测试

DTSTART;TZID=Asia/Shanghai:20170420T080000

CREATED:20170110T165154Z

RRULE:FREQ=WEEKLY;COUNT=8

END:VEVENT

END:VCALENDAR

看着结构还是很清晰的,稍微分析一下可以知道整体包在VCALENDAR中,然后有个VTIMEZONE,然后下面就是日程VEVENT了。Event中又有几个字段,比如SUMMARY表示事件名称,DESCRIPTION表示备注,DTSTART表示事件开始时间,还有DTEND表示事件结束时间等等。于是想到应该可以用代码自动生成这些。

解析教务系统里的课程表

分析原数据

从官网查看本学期课表,检查元素,找到课程表的链接,打开源码,把源码保存到本地以便于分析。

稍微整理一下数据可以得到下面这样的结果。因为数据很多很乱,我用分割线将每一门课分割开来。

18549f3dad1a

Raw

合并课程项

可以看出有的课程很长有的很短,分析发现是因为每门课可能每周有两个上课时间,第二个上课时间被分离到另一个数组了,所以要做一下组装。长度超过6的就把它上面的那条记录取出来,替换掉尾部,代码如下。

courses=[]

temp.each do |x|

if x[1].length > 6

courses << x

else

courses << (courses.last.slice(0..(-x.length-1)) + x)

end

end

打印结果如下,符合预期。

18549f3dad1a

合并后的数据

提取有用的信息

courses.each do |c|

course = {

name: c[2].to_s,

credit: c[4].to_f,

prop: c[5].to_s,

exam: c[6].to_s,

teacher: c[7].to_s.delete(" ").split("*"),

week: c[11].to_s.delete("周上 ").split(","),

weekday: c[12].to_i,

order: real_order[c[13].to_i],

count: c[14].to_i,

place: c[16].to_s,

classroom: c[17].to_s

}

formatted << course

end

将每一个课程组成Hash对象,存到数组里。

其中week的内容是由"4-11,14-17周上"处理得到的,将它格式化成一个数组,每个元素形如"4-11",任课教师teacher的内容也差不多。

打印结果如下,这样看起来已经很不错了。

18549f3dad1a

格式化后的数据

生成日历格式的数据

课程数据已经基本到手,要做成日历格式的数据,就单独写了个ICalendar类,根据参数来生成相应的日历元数据。网上可以找得到自动生成日历的gem,我看了一下,感觉要用它的API还得学一会文档,也用不了这么多功能,干脆就自己写了。

分析了一下日历的元数据,发现有很多字段是可以省略掉的,比如事件的创建时间,修改时间,这些没有必要存在,之后导入的时候会自动生成,我也不需要控制这个信息。还有UID,估计是用来表示事件的唯一,以免重复导入,也懒得做了,毕竟导入的时候会生成新的日历,不需要操心这个。

于是日历的模版就想好了。

BEGIN:VCALENDAR

VERSION:2.0

X-WR-CALNAME:课程表

X-APPLE-CALENDAR-COLOR:#{@color}

BEGIN:VTIMEZONE

TZID:#{@tzid}

X-LIC-LOCATION:#{@tzid}

END:VTIMEZONE

BEGIN:VEVENT

DTEND;TZID=#{@tzid}:#{e[:end_time]}

LOCATION:#{e[:location]}

DESCRIPTION:#{e[:description]}

SUMMARY:#{e[:summary]}

DTSTART;TZID=#{@tzid}:#{e[:start_time]}

RRULE:#{e[:rrule]}

END:VEVENT

END:VCALENDAR

所以只要用@event变量存放一个课程数组,到时候拼接一下就可以得到所有日程组成的字符串。

代码如下:

class ICalendar

def initialize(cal_name = '课程表' + Time.now.to_i.to_s)

@version = 2.0

@x_wr_calname = cal_name

@x_apple_calendar_color = '#F64F00FF'

@tzid = 'Asia/Shanghai'

@x_lic_location = 'Asia/Shanghai'

@events = []

end

def add_event(options={})

default_event = {

start_time: '20170420T080000',

end_time: '20170420T093500',

location: '地点',

description: '备注\n详细描述',

summary: "标题",

rrule: 'FREQ=WEEKLY;COUNT=8'

}

@events << default_event.merge(options)

end

def publish

gen_header + gen_events + gen_footer

end

private

def gen_header

header = <

BEGIN:VCALENDAR

VERSION:#{@version}

X-WR-CALNAME:#{@x_wr_calname}

X-APPLE-CALENDAR-COLOR:#{@x_apple_calendar_color}

BEGIN:VTIMEZONE

TZID:#{@tzid}

X-LIC-LOCATION:#{@tzid}

END:VTIMEZONE

BAR

end

def gen_events

events_cal = @events.map do |e|

event = <

BEGIN:VEVENT

DTEND;TZID=#{@tzid}:#{e[:end_time]}

LOCATION:#{e[:location]}

DESCRIPTION:#{e[:description]}

SUMMARY:#{e[:summary]}

DTSTART;TZID=#{@tzid}:#{e[:start_time]}

RRULE:#{e[:rrule]}

END:VEVENT

FOO

end

events_cal.join

end

def gen_footer

"END:VCALENDAR\n"

end

end

计算上课日期和时间

其实这个是我最懒的去思考的部分,整体思路很清晰,但这里很令人头疼,因为能自动获取的数据只有第几周开始上课,第几周结束,每天第几节课上课,上几节课。所以要求我自己提供一个开学日期,也就是要确定第一周是哪一周,以及每节课的上课下课时间,然后才能计算具体的课程时间。

计算开课日期

第一步先确定那门课程第一次课的日期。

设置默认开学日期20170220,用这个初始化一个Time实例,得到的具体时间是2017年2月20日0点整。存为变量start_day,然后调用wday方法获取weekday,也就是确定那天是周几,存为变量start_weekday。

根据开课的周次来确定周偏移量,因为开学那周是第一周,所以偏移量为class_start_week - 1。

根据开课的weekday,也就是周几开课,来确定“日偏移量”,即f[:weekday] - start_weekday表示。

所以开始上课的那天就是start_day加上周偏移量乘以7天乘以24小时乘以3600秒,再加上日偏移量乘以24小时乘以3600秒。

that_day = start_day + ((class_start_week - 1) * 7 + f[:weekday] - start_weekday) * 24 * 3600

计算课程开始和结束时间

接下来就是用that_day加上上课时间的“秒偏移量”就行了。这里其实很烦,因为每节课的时间是没有什么规律的,起初我认为是第一节课早上8点上课,然后每节课45分钟,每小节课中间休息5分钟,每大节课中间休息15分钟。在这个想法上抽象了一个算法来动态计算,后来发现一节大课有时候是2小节课有时候是3小节课,中午休息的时间和晚上休息的时间都不一样,修正模型太麻烦了,所以就手动录入了每一节课的上下课时间,用查表的形式获取时间。

START_TIME_OF_CLASS = [8 * 3600,

8 * 3600 + 50 * 60,

9 * 3600 + 50 * 60,

10 * 3600 + 40 * 60,

11 * 3600 + 30 * 60,

14 * 3600,

14 * 3600 + 50 * 60,

15 * 3600 + 50 * 60,

16 * 3600 + 40 * 60,

18 * 3600 + 30 * 60,

19 * 3600 + 20 * 60,

20 * 3600 + 10 * 60]

END_TIME_OF_CLASS = [8 * 3600 + 45 * 60,

9 * 3600 + 35 * 60,

10 * 3600 + 35 * 60,

11 * 3600 + 25 * 60,

12 * 3600 + 15 * 60,

14 * 3600 + 45 * 60,

15 * 3600 + 35 * 60,

16 * 3600 + 35 * 60,

17 * 3600 + 25 * 60,

19 * 3600 + 15 * 60,

20 * 3600 + 05 * 60,

20 * 3600 + 55 * 60]

于是课程的上课时间就是根据节次,即用节次减1作为下标从表里取出的时间,而下课时间则是由节次减1加上节数减1得到。

s_time = that_day + START_TIME_OF_CLASS[f[:order] - 1]

e_time = that_day + END_TIME_OF_CLASS[f[:order] + f[:count] - 2]

然后格式化成日历所需要的时间格式就行了

s_time.strftime("%Y%m%dT%H%M%S")

# => 20170222T095000

Done

剩下的就是把这些子模块拼接起来,整体的思路就是获取课程原数据,用nokogiri解析并处理得到可控的数据结构,然后遍历每节课程生成一坨events,添加到ICalendar实例的@events变量中。最后用publish方法拼接出完整的日历元数据,写入ics文件,再用邮件发送到指定订阅用户的邮箱中。

使用效果如下:

18549f3dad1a

运行程序获取日历.png

从邮件的附件中下载ics文件,用日历app打开,即可导入日历中,最好是新建一个日历以免出现错误后不方便删除。

导入后结果如下,时间完美正确,还有一些有用的备注信息。

18549f3dad1a

日历截图

完美,开心,告辞。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值