python练手之爬虫篇(一)

本文讲述了作者利用Python爬虫技能,针对校园网内的视频资源进行在线播放页面分析,通过模拟浏览器请求,实现了资源的直接下载。文章提到了使用httpfox或开发者模式观察网络交互,并展示了简单的爬虫代码实现。
摘要由CSDN通过智能技术生成

因为这段时间比较闲,所以有很多时间在校园网内看视频(很颓废,有木有o(╯□╰)o)

记得暑假时学校官网下部出现一个新链接,“网络资源服务”,进去如下图所示:


发现除了电影、电视剧和视频资源外,其他的都可以下载。

其实这个网站就和之前的ftp差不多,一开始还挺喜欢这个在线播放的,毕竟不用如之前ftp一样需要先花费些时间下载下来观看,可以直接在线播放,因为校园网是光缆铺设的所以在线播放毫无压力。但是有时候想下载下来放到移动设备上看,可是没有下载功能,于是正好这段时间自学了python,可以以此实践练练手!


通过火狐浏览器上的插件httpfox或者直接调出开发者模式查看网络情况,观察浏览器与服务器之间的交互情况。暂时就不截图了O(∩_∩)O~

发现当点击在线播放时,服务器直返回数据类型是text/html,所以实现下载非常简单,直接保存即可。。

其他的就比较基础了,直接模拟浏览器发出请求,注意需要cookie等。

直接上代码了,以后有时间再写仔细一点。

# coding=gbk
import urllib,urllib2
import cookielib
import re
def Down(url,typeid):
    try:
        cj = cookielib.CookieJar()
        opener = urllib2.build_opener(urllib2.HTTPCookiePro
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值