作者:马健
邮箱:stronghorse_mj@hotmail.com
发布:2009.09.26
更新历史
2014.11.11
补充了文字版PDG的部分内容
增加CX PDF等打包格式的相关内容
2009.09.26
首次公开发布
事先声明:
1、本文仅代表我自己的个人观点,没有必要争论:如果发现硬伤,欢迎指正;如果仅仅是有不同意见,请自己另写一篇去。
2、本文可以转载,但是必须注明转自读书园地,并注明原作者为strnghrs,并且不能对原文作任何删改,否则视为非法盗版。
3、本文写作过程中得到coolman的指正,在此表示感谢!
==========================================================================
新手初到园地,大概最心烦的就是与PDG相关的各种专有名词,包括图像版、文字版、清晰版、大图版、快速版、6xH等等,本文对此作一个简要说明,希望能起到扫盲的作用。
我个人认为,其实上面说的几个概念关系并不复杂,可以用下面的示意图(此图为strnghrs原创,版权所有,盗用必究)说明:
PDG文件
┏━━━━━━━━┻━━━━━━━━┳━━━━━━━━┓
图像版PDG 文字版PDG CX PDF
(文件名无下划线) (文件名带下划线)(一本书一个文件)
┏━━━━━━━━┻━━━━━━━┓ ┃ ┃
清晰版 快速版 大图版 有人说好,有人不要 不同历史时期
┃ ┃ ┃ 可能采用各种加密格式, 有不同的清晰度
追求的目标 淘汰的目标 比快速版强 解密后是图文混排的PDF
常为02H、04H 常为05H、AxH、6xH 非加密
解密后是CCITT、JPG 解密后是DjVu JPG、PNG改名,原版ssreader不认PNG
当然对新手来说这个图理解起来有点困难,下面就加以详细解释。建议在看下文的时候,注意对照此图,以加深理解。
在早期PDG还处于“老子的队伍才开张”的时代,PDG文件都是用扫描后的图像文件产生的,骨子里还是一种图像格式,用官方浏览器ssreader打开后不能搜索、选择、复制文字,要想获得文字信息只能选择OCR。这样的PDG通常称为图像版PDG。
图像版PDG由于是从原书扫描成的,因此完全忠实于原书,包括版式、字体、插图等。但是图像文件毕竟太大,会给服务器、网络出口造成压力,而且不能直接搜索、复制文字也不便于使用,因此后来采用OCR引擎对扫描图像进行文字识别,再经ZIP压缩、按PDG文件格式加密封装等步骤后,出炉了一种骨子里是 纯文字或图文混排的PDF文件的PDG。这种PDG文件在ssreader里阅读时,能够直接搜索、选择、复制其中的文字,放大显示时文字也不会出现锯齿,因此被称为“文字版PDG”,以区别以前的图像版PDG。而在文件名上二者也有区别:图像版PDG文件名是6位,没有下划线;文字版PDG文件名长度不固定,中间有下划线。
到目前为止,没有任何一家OCR引擎敢保证自己的识别率是100%,事实上,我很怀疑未来有任何一家正常的软件公司敢下这样的保证。因此传统上认为文字版PDG不如图像版PDG靠得住,可能会因为OCR的差错而出现错别字,影响阅读、引用。这就是为什么在园地很多人求书时指明不要文字版PDG的原因。不过从我个人的实际经验看,早期 的纯文字版PDG确实存在一些问题, 后来推出的图文混排版则有所改进——OCR引擎把握比较大的文字就识别成文本,把握不大的就保持图片,所以差错不能说没有,但至少比纯文字的要好一点,只不过文本PDG在制作的时候忘记把图片设置成透明了,所以在浏览器里设置了背景后,阅读这种图文混排的PDG会感觉眼花缭乱——解决的办法就是自己把图像改成透明,或者用UnicornViewer阅读,并设置背景强制透明——当然免费版UnicornViewer是不支持文本PDG和PDF的。
另外我也曾碰到过个别文字版PDG是直接用从出版社获得的原始排版文件生成的,没有OCR环节,不仅没有什么错别字(原书有错的除外),而且完全体现原书版式,还是很值得收藏的。当然,这样的高质量文字版PDG只能靠运气,赶上了就有,赶不上也没办法。
总之,通常可以认为文字版PDG具有下列特征:
1、原始文字版PDG文件名必定带下划线,图像版PDG的文件名则没有下划线。
2、通常前言页会跑到最后去。我猜这是因为按照PDG命名规则,前言页以fow开头,所以在OCR的时候,自然排在以数字开头的正文页之后。由此可见PDG官方制作者的水平和态度。
3、把文本PDG解密、解压成PDF后,在Acrobat下打开,正文经常是黑体而不是宋体。修正这个问题的方法我在readfree说过,用PdfToy全文替换一下PDF中的字体参数就好。
4、阅读的时候要么感觉满眼错别字,要么感觉有些诡异,总觉得有些字看起来比较毛糙。如果设置了浏览器的背景,就会发现那些感觉毛糙的部分是白色背景的小图片。
5、原始文字版PDG文件的总长度很大,但转换、合并成一个PDF文件后,如果合并时用的是Acrobat等具有消除冗余对象能力的合并软件,合并后的PDF文件长度会比原始文字版PDG文件的总长度小很多。原因很简单:为了保证每个独立的文字版PDG文件都能被打开,CX被迫在制作时在每个文字版PDG所包含的PDF文件中都嵌入了字体,但其实对一本书来说,正文部分每一页使用的字体都是相同的,所以原始文字版PDG中包含大量的重复信息。用Acrobat合并时,会自动删除相同的字体,从而减少文件总长度。换句话说,如果文字版PDG合并成PDF后文件长度基本保持不变,你就应该怀疑你是不是用错了合并软件了。
文字版PDG虽然文件短小,但OCR毕竟是一个费时、费力的活儿,把所有书籍全变成文字版PDG显然不太现实。因此为了减轻服务器和网络的压力,在图像版PDG中又出现了清晰版、快速版的区别。换句话说,文字版PDG是不分什么清晰版、快速版的。
按照常规定义,采用300 DPI扫描得到的PDG称为“清晰版”,采用150 DPI扫描得到的称为“快速版”。由于DPI差了一倍,对于同一页书,清晰版的长、宽是快速版的2倍,文件长度当然也要大一些,但是文字、插图会更清晰。在园地区别清晰版与快速版的常规做法是:用ssreader打开,如果按100%显示就是快速版,按50%显示就是清晰版。这种鉴别方法武断了一点,不过在大多数情况下还算有效。而在ssreader内部是这样进行区分的:如果图像宽度超过1200像素,则认为图像是按300 DPI扫描的,否则认为是按150 DPI扫描的。这种区分显然忽略了16开版与32开版的差异。
快速版由于文件大小比清晰版小得多,其清晰度虽然比清晰版差,但通常情况下也不至于因此而造成太大的阅读障碍,因此在某段时期内在园地广为流行,甚至有人声称“宁要快速版,不要清晰版”。但是好景不长,在快速版的真面目被进一步揭开以后,很快就成了“过街老鼠”,如今在园地再无老鸟敢要快速版,以前收藏的快速版PDG也都成了鸡肋:为了追求较高的压缩比,快速版PDG全部采用有损DjVu压缩,而快速版本身的清晰度就不是太好,在DjVu有损压缩时,可能会将笔画残缺的相似字识别为同一个字,造成错别字。相比之下,清晰版全部采用无损CCITT G4压缩,完全忠实于原著。有人曾在园地贴出过实际的PDG文件并进行对比:同一页的清晰版没有错别字,而快速版就出现错别字。
不论是清晰版还是快速版,对于文字页面都按照黑白二值图像进行存储,无法在其中加入灰度或彩色的水印。为了解决“疯狂的盗版问题”,在lr、dx等服务器上就出现了“大图版”这种图像PDG格式:将清晰版PDG缩图,加入水印,存为JPG或PNG格式,但是文件扩展名还是PDG,就是所谓的“大图版PDG”了。因此,所有大图版PDG都是带水印的,虽然水印图案可能不同。大图版有大、中、小三种尺寸,大尺寸的大图版与快速版的面积差不多,但更清晰,而且因为是从清晰版PDG转换过来,转换过程中采用的JPEG、PNG(其实是ZIP)压缩也不会产生错别字,因此在快速版遭到唾弃后,园地大多数人的求书要求是:能有清晰版就要清晰版,没有清晰版就要大图版。沦落到快速版、文字版的多半都有迫不得已的理由,如新手最常见的理由就是“穷”(求书指定清晰版需要更多的币币),有些人则是为了节省磁盘空间(快速版、文字版的文件长度通常比大图版、清晰版更小)。
新手初到园地,在没有见识过真正清晰版的情况下,容易把“看起来很清晰”的大图版当作“清晰版”,在求书区曾经有人为此打过笔墨官司。其实大图版如果没有被做过手脚,还是很容易区别的:
1、如上所说,所有大图版都带水印,而清晰版无水印。最常见的水印是篆刻有“好学近乎知”的印章,此外还有不常见的星星图案等,甚至有人帖出来过用近似于《午夜凶铃》剧照的MM彩照做水印的大图版PDG。当然,这些水印基本上都可以通过图像处理淡化甚至去除。
2、大图版通常是供IE在线浏览,IE支持JPG、PNG,但是官方原版ssreader 4.0只支持JPG,不支持PNG。因此纯文字页面的大图版PDG文件,用原版ssreader 4.0通常是打不开的,只能用园地发布的修改版ssreader,或第三方浏览器如UnicornViewer、ComicsViewer才能打开。鉴别图像格式的另一个方法是用免费的Pdg2Pic打开疑似大图版文件所在文件夹,这个软件会自动检查PDG文件的数据压缩算法。在文件没有被人做过手脚的情况下,如果左下方文件信息显示“PNG”则是大图版,显示“DjVu”是快速版,显示“CCITT”是清晰版,显示“JPG”则不确定。不过随着园地众多格式转换软件的发行,也会有人重新对文件进行处理,造成上述方法的误判。
3、大尺寸的大图版和快速版的画面尺寸差不多大,但是比清晰版还是小得多,而且文字看起来发“晕”(从清晰版到大图版缩图时造成的柔化),没有清晰版锐利。不过这个要有比较才会鉴别。
4、清晰版如果有彩色插图,转为大图版后多半会变成灰度图像,这个也要有比较才能鉴别。因此如果求的是带彩色插图的书,我都会指明只要清晰版,当然求书代价也会相应提高。
由于求书人对清晰版的不懈追求,而且清晰版的出价通常比快速版、大图版更高,因此也出现了一些“伪高清”:把大图版或快速版,甚至是文字版转为图像,然后放大到清晰版的尺寸,再经过某些图像处理,用老鹰或coolman提供的PDG压缩软件,采用CCITT算法压成00H或02H PDG,貌似清晰版的“伪高清”就出炉了。这种伪高清虽然不能把灰度插图再变回彩色,但是看上去没有水印,用原版ssreader能够正常打开,用Pdg2Pic检查时“格式”栏显示的也是CCITT,而尺寸也是清晰版的尺寸,因此对于新手来说很难鉴别,在求书应助时也曾有人为此打过笔墨官司。我个人的看法:伪高清的制作过程注定是有损的,因此制作再精良的伪高清,与真正的清晰版也不能完全等同。不过如果伪高清是从大图版制作出来的,而且原书页面上没有插图,处理后的视觉效果也足以“乱真”,碰到这样的“高仿”也算运气。而如果是从快速版或文字版制作出来的,不论制作技术如何高超,都属于绝对不能原谅的JS行为,因为如前所述,快速版、文字版PDG本身就是不可信的。
至于经常有人提到的00H、02H、6xH等数字,指的都是PDG文件的加密格式代号:早期V1版PDG文件加密比较弱,很快就被人破解,然后D版盘卖得到处都是。为了对付D版,PDG文件定义了全新的V2版格式,所采用的加密技术也不断在更新换代。从大版本看,V2版PDG经历了0xH(包括00H、01H、02H、03H、04H、05H)、1xH(包括11H、12H、13H、14H、15H、16H、17H、18H、19H、1AH、1BH、1CH、1EH)、28H、AxH(包括AAH、ABH、ACH)、6xH(包括64H、65H、66H、67H、68H)几个时代。如果想了解每一版PDG详细的加密算法,可以阅读cheming先生的大作《吵醒文件加密方式说明v1.5》。
需要说明的是,对加密格式的判断要结合PDG文件的版本信息才能判断准确。早期曾经有人在园地发行过一些不成熟的格式检查软件,忽略了PDG版本,机械地按照文件头第16字节处的信息判断加密算法。结果经常有人用这样的软件检查后就惊呼“又有新的PDG加密格式了”,徒增笑柄。现在流行的PdgThumbViewer、Pdg2Pic,及老鹰、coolman的格式检查软件,均避免了这样的错误。
目前6xH可以说代表了PDG文件加密技术的最高成就,成为官方打击D版PDG的利器,因此也受到了最为广泛的关注。但实际上,在PDG文件服务器上是不会有6xH格式存在的:高版本的官方原版ssreader会组合登录用户名、本地硬件信息(通称机器码)等生成加密密钥,在下载的时候,会用加密密钥对下载到的PDG文件进行加密,在本地生成6xH文件。因此,用一台机器下载到的6xH文件,换一台机器就不能读了——两台机器的机器码不一样。解决的办法包括:
1、用cheming的Pizza、老鹰的coffee、coolman的魔术师解密。
2、不用官方原版ssreader下载。如前所述,6xH是原版ssreader下载后在本地生成的。可供选择的软件包括修改版ssreader(去掉6xH加密环节)、BE等。
3、用官方原版ssreader阅读或下载,但是对网络数据流进行截流,获得加密前的原始PDG。
除了上面说的机器码限制外,PDG中还可能有时间限制:如果用官方原版ssreader阅读本地保存的带时间限制的PDG文件,在超过规定期限后,ssreader就会自动对文件进行破坏。而在文件到期前把它解密掉,也常常成为在园地购买Pizza、coffee、魔术师等解密软件,或刻苦努力翻旧贴,研究报文、嗅探、截流等技术的理由。
带时间限制的PDG虽说有点定时炸弹的感觉,好歹在有效期内还能在本地阅读,而某些镜像服务器上的AxH则只允许在线浏览,不允许下载阅读:用官方原版ssreader下载AxH到本地后,会立刻对文件进行不可恢复的破坏,破坏后的文件用格式检查软件检查通常显示为FFH格式,因此在园地FFH也是“死亡”的代名词。解决的办法就是别用原版ssreader下载,改用截流、第三方下载软件或修改版ssreader。不过到现在为止,我见过的AxH全部都是快速版,看过就删了。
对于没有做过手脚的图像版PDG,PDG的加密格式与图像清晰度密切相关:早期清晰版通常是02H、04H,而快速版是05H,因此早期在园地也用加密格式代号来辨别清晰版与快速版,02H因此成为追捧的对象。不过自从老鹰、coolman发布PDG加密软件后,可以任意更改PDG的加密代号,这招就常常失灵了。
所有格式里比较特殊的是00H,即不加密的格式。这种格式当然也不会有时间、机器码限制。除早期的服务器外,目前新的PDG服务器上已经很难找到这种格式。但不论是清晰版还是快速版,经Pizza、coffee、魔术师解密后都成为00H。图像版00H可以用原版ssreader正常阅读,而且由于在阅读的时候不再需要花时间进行解密,因此显示速度可能比未解密的快那么一点点。不过如果文字版PDG被解密成了00H,用原版ssreader就不能阅读了,因为它认为这世上本不该有未加密的文字版PDG。目前00H的文字版PDG只能用园地提供的高版本UnicornViewer,或老鹰、coolman提供的ssreader增强插件才能阅读。
但是无论如何,现在用官方原版ssreader从sslib下载到的6xH,多半都是快速版(据说很久以前有过清晰版,现在也不排除漏网之鱼的可能)——为了减轻服务器压力,新版官方ssreader在下载sslib时,会自动选择从存放快速版的服务器上下载,这就是为什么经常有人问“用ssreader在线浏览很清晰,下载后再看就不清晰”的原因。而用官方ssreader从主站下载,则可能得到6xH的清晰版,并且这种6xH不受有效期限制(机器码限制还是有的)——听起来不错,可惜主站的书实在少了点。至于解决的办法,前面已经说过了。
所以园地新手的迫切愿望,最优先的当然是能够看到不受限制的00H的清晰版,退而求其次就是大图版,实在不行也要摆脱6xH的时间、机器码限制,从此过上安宁、快乐的幸福生活。
而随着手持阅读设备的兴盛,大家都开始感觉到以散页方式存放的PDG文件在手持设备上阅读时的不便,CX公司也顺应潮流推出了打包电子书格式,即一本书打包成一个文件,方便在手持设备上存储、阅读。
到目前为止,CX公司正式公开推出了两种打包格式,一种是私有的PDZ格式,一种是公开的PDF格式。PDZ格式的详细说明请参见cheming等发表的相关文章,我从来没有接触过这种格式,所以不便评价,只知道用coolman发布的“深海宝贝”软件可以实现PDZ、PDG格式之间的相互转换。
CX推出的PDF在园地一般称为CX PDF,以区别于一般常见的扫描版PDF——因为这种特殊的PDF实在是制作得太烂了,不仅文件臃肿不堪,而且文字可能缺笔少划,详见我在园地相关帖子中所举的例子。
其实早期的CX PDF都是从清晰版PDG直接转出来的,而且转换所用的软件库还是花美金买的国外软件库,只不过很不幸的是CX公司的程序员不知道应该如何正确使用这套软件库,所以转换出来的PDF才会有种种问题。但其实CX PDF只是制作过程本身出了问题,图像本身是没错的,所以PdfToy专门针对CX PDF进行了优化,可以把CX PDF中的图像无损导出,因此早期用原始清晰版PDG制作的CX PDF仍然能转回清晰版PDG,而后期用清晰版PDG缩水制作的CX PDF,转完了也是缩水的PDG。
换句话说,早期CX PDF都是用真正的清晰版PDG转换出来的,因此虽然直接阅读的时候有点问题,但转回PDG后没有问题。后来可能是为了压缩文件长度以缓解带宽压力和存储压力,CX开始用缩水的清晰版制作CX PDF:把清晰版PDG的长、宽压缩到50%,然后再转换成PDF。这种缩水版的CX PDF转回来的PDG也是缩水的:实际DPI只有150,和以前的快速版相同,但因为没有采用蛋疼的DjVu压缩,所以清晰度比快速版要好,甚至比大图版都好,而且没有水印,所以一度被人用来当作清晰版PDG应助,在园地引发了热热闹闹的口水官司,我也在无意中被卷入,被迫紧急发布了DpiCalc(DPI计算器),可以按照书籍开本、图像像素尺寸反算DPI,或按照书籍开本、DPI计算扫描像素尺寸,让喜欢计较DPI的人可以算到爽。在Pdg2Pic、UnicornViewer等软件中,在报告PDG的DPI值时,也开始按照CX算法、32开算法、16开算法分别报告。
总之,CX PDF不管是原始的还是缩水的,清晰度都比快速版、大图版更好,又没有文字版的OCR错误,所以在找不到清晰版PDF的情况下,也是一个不错的选择,而在补附属页的时候,基本上是目前最佳的选择。
而在PDZ、CX PDF之前,CX公司还悄悄推出过一种打包格式,只不过一般人不知道。引用coolman的原话:超星还有一种内部是html压缩包的pdg文件,类似chm这种文件,一般是一本书就一个文件,文件名没有任何特别之处。大多数应该是超星会员制作后,超星加工的。此类格式的文件目前可以用魔术师(注:现在是“深海宝贝”)查看,并导出内部包含的图像和htm文件。
我貌似在SSREADER里见过这种html文件打包的功能,不过太久没有用SSREADER,不是很清楚了。