用Python抓漫画

原创 2011年01月21日 22:26:00

我现在只追海贼王、火影、死神这三部漫画,一般在SF在线漫画上看。这地方的好处就是看漫画的时候点一下图片就会翻下一页,不像有些文章非要点“下一页”,还整得贼小,周围都是广告。但有时加载图片会发生错误,显示一半就罢工了,无论你怎么刷新都没用。

今天看漫画的时候(一般是周四更新)突然想何不把漫画抓下来看呢。于是,我看了一下网页源码,发现它每张图片会附带一个随机数,猜都没得猜,比如,火影第524话的第1页http://hotpic.sfacg.com/Pic/OnlineComic1/Naruto/524/001_3760.png。没办法,继续看源码。居然发现有个js文件包含了这一话所有图片的网址兴奋

接下来的问题是一个古老的问题,用什么语言呢?我决定尝尝鲜,Python吧,不说它擅长网络事务么。搜了一下,决定用urllib库

先把js文件抓下来:

 

解释一下,由于是js文件,而且有中文编码,所以用quote()先编个码。这时,汉字不管它,但有些符号也跟着变了,比如,空格是“%20”,冒号是“%3A”,……,详见

下面是把url指向的图片抓下来(暂时放桌面吧):

 

这里多亏了urlretrieve(url, filename)老兄,它负责把url所指的东西抓下来写进filename里。

顺便复习一下正则表达式:

PythonPython正则表达式

Python的正则表达式模块叫re。

 

常用的函数有这么几个:

  • match()和search(),功能类似,但match()只从头匹配,而search()则可以匹配任意位置。

 

  • split()

 

  • findall()和finditer()

 

 

  • sub(patternreplstring),把string中所有匹配pattern的子串全部替换为repl。

 

  • group(), start(), end(), span():用于查询匹配结果,group()返回被匹配的字串,start()和end()分别返回匹配的开始和结束位置,span()返回一个元组(开始位置,结束位置)

详见官方说明Python正则表达式操作指南

火影

P.S. 有个哥们写了个比较详细的urllib介绍

P.P.S. Mac上看漫画推荐Simple ComicSimple Comic,可以直接看压缩文件。所以,最好把下载下来的png图片打个包:

 

完整代码:

import urllib

one_piece_url = "http://hotpic.sfacg.com/Utility/2/"
n = "640"
comic_url = one_piece
comic_name = "OnePiece"

str = urllib.urlopen(comic_url + n + ".js").read()
url_encoding = [["\n", " "], ["%20", " "], ["%22", '"'], ["%3A", ":"], ["%3B", ";"], ["%3D", "="], ["%5B", "["], ["%5D", "]"]]
pages = urllib.quote(str)
for pair in url_encoding:
    pages = pages.replace(pair[0], pair[1])
print "js: " + pages
print "end js\n"

import re
count = 1
for m in re.finditer(r'(http:[\w./]+.png)', pages):
    print "url: ", m.group(1)
    print "end url\n"

    url = m.group(1)
    path = r"/Users/Pope/Desktop/%d.png" % count
    count += 1
    data = urllib.urlretrieve(url,path)

import zipfile
import glob
import os
directory = "/Users/Pope/Desktop/"
f = zipfile.ZipFile( directory + comic_name + n + '.zip', 'w' )
for img in glob.glob( os.path.join( directory, '*.png' ) ):
    f.write( img )
    os.remove( img )
f.close()


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Centos环境中Rstudio的安装

Centos环境中Rstduio的安装       开始大数据据的生涯了。以后,一般不再更新基础算法了。要学大数据当然工具不能少。R语言是数据挖掘的必不可少的利器之一。所以,今天先来...

python为在线漫画网站自制非官方API(未完待续)

接下来将记录我一步一步写一个非官方API的过程,因为一些条件的约束,最后的成品可能很粗暴简陋 现在介绍要准备的所有工具: 系统:ubuntu 14.04 语言:python 2.7 需要自行安装的库:...

Python+BeautifulSoup抓取暴走漫画页面图片

使用Python中的BeautifulSoup(bs4)包抓取暴走漫画网站中的热门帖子中的图片。 首先附上参考资料,之前在OSC上有人写了个抓取豆瓣妹子图片的帖子,参考人家的代码,自己重新弄了一下,当...

python菜鸟之暴走漫画

学习python两个星期,看了些基础的知识,感觉记不住多少啊,脑子有点木。想找些涉及生活的有趣的程序练练手,巩固下各种模块和对象方法的知识。就无意发现了一个暴走漫画的爬虫程序,感觉不错,就自己跟着思路...

python下载漫画

下载漫画的脚本身为漫画迷,一直想直接将漫画下载到电脑上看,于是就有这个python脚本。系统:Ubuntu 14.04 python版本:2.7.6 用到的python库有: os (操作系统接口...

python漫画下载脚本

翻译经典 HDFS 原理讲解漫画 之三---容错和副本布局策略

英文原版作者:Maneesh Varshney, mvarshney@gmail.com HDFS是现在最受欢迎和被人们说熟知的分布式文件系统。本文翻译了经典的 HDFS 原理讲解漫...

文科生也能搞定的深度学习入门漫画!(上)

今天我们来说说深度学习,这个近年来炙手可热的新鲜事物,相信各位并不是第一次听闻,那么关于深度学习、人工智能、机器学习大家又了解多少呢?请看文科生也能搞定的深度学习漫画就明白了!
  • Gamay
  • Gamay
  • 2017-06-15 13:39
  • 338
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)