网络资源归档标准WARC介绍

于 2023-01-06 14:02:13 发布
阅读量974 收藏
点赞数
文章标签： 前端 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Macrowing/article/details/128577660
版权
WARC（Web ARChive）是网络资源存档的国际标准格式，由IIPC资助，IA开发，适用于长期保存网络资源。WARC是对ARC格式的升级，详细记录HTTP请求头信息和元数据，支持多种协议，广泛应用于各大图书馆和档案馆。它具有完善的软件生态环境，记录丰富的信息，支持打包压缩，易于扩展，并被采纳为中国的国家标准。
摘要由CSDN通过智能技术生成


 

WARC---Web ARChive

01

● WARC格式概述 ●

WARC（Web ARChive）格式是网络资源存档中使用的常见文件格式，全称为Web Archive File Format，由互联网保存联盟（International Internet Preservation Consortium，IIPC）资助，互联网档案馆（Internet Archive，IA）等机构负责开发，于2009年5月成为正式国际标准，标准号为ISO 28500:2009 Information and documentation — WARC file format。2017进行过一次修订，标准号为ISO 28500:2017。

 

WARC文件格式是唯一面向网络资源长期保存的资源保存格式，在世界各国的图书馆和档案馆得到了广泛的应用（比如美国互联网档案馆、澳大利亚国家图书馆、日本国立图书馆、荷兰国家图书馆、英国国家档案馆等），具有软件生态环境完善、内容丰富、便于管理、易于扩展、支持大容量文件保存等突出优点，同时适合网络资源和数字资源的长期保存使用。由于其广泛而巨大的影响力，该标准于2017年被采标为中国国家标准：GB/T 33994-2017《信息和文献 WARC文件格式》。

 

WARC格式是ARC（ARChive）格式的延续。ARC格式由互联网档案馆IA在1996年完成开发，规定了一种将多个数字资源整合到一个存档文件中的方法，用于管理IA所保存的数以亿计的网络文档。

IA在后来的工作中逐渐发现，ARC格式无法满足网络资源存档进一步的要求，因此开始在ARC格式的基础上开发新的格式，后来确定为WARC格式。相对于之前的格式，WARC

最低0.47元/天 解锁文章
鸿翼Macrowing
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
博客
以智领航 鸿翼助力企业构筑智能化知识管理体系
07-03 847
数字化时代，随着对数据价值挖掘技术的不断升级，“知识的力量”提升到了前所未有的高度，做好知识管理不仅能提高企业员工的工作效率，还可以沉淀企业的工作经验与优秀案例，以知识提升员工综合素质，减少员工的培训成本和企业的时间成本，增强企业核心竞争力。：同时，鸿翼KM知识管理系统也能够辅助用户创作，基于给出的信息自动生成新的内容，为用户自动生成文档标签，并且可以基于文档的内容实体创建可下探的知识图谱，以“智能”缩短用户触达知识的通路，实现知识与用户之间的“赋能与创造”的闭环。而作为高效可协同的在线创作平台，
博客
鸿翼全链智能知识管理，打造大模型时代的企业知识管理新范式
07-03 331
通过各类应用实现知识管理全过程管理，并依托强大的AI底座，通过RAG全管道实时挂接大模型和企业知识库，构建企业Agent智能群体，通过智能问答、知识解读、企业AI搜、智能创作等智能应用，驱动知识创造价值，激发AI时代企业新质生产力。鸿翼将持续落地企业知识管理与大模型的深度交融，引领大模型知识管理新浪潮，实现从数据到知识、从知识到生产力的高效转化，进一步提升企业知识利用效能，为新质生产力发展提供智慧新动能。实现组织知识内容的统一存储和管理，用户可以根据知识的内容与来源搭建不同的知识库。
博客
鸿翼夯实统一AI基础设施，加速大模型落地释放AI“模”力！
07-03 255
鸿翼AI Agent智能体平台，作为文档和知识领域的智能助手，提供互动体验的AI指令和问答服务，实现企业全业务流程和各种场景的自动化改造，并优化业务流程实现降本增效，并能逐渐像人类员工一样沟通和思考，处理复杂任务，重塑企业业务模式。从“百模大战”到“千模大战”，全球通用大模型数量快速增加，将大模型融入企业，建立企业自身的AI基础设施，打造行业或特定领域、任务的专用大模型，助力生产力革新和产业升级，已经成为目前企业关注的核心。自动提取知识页面内容，生成符合语义和逻辑的标签，可用于知识分类和检索。
博客
高效合规之选 鸿翼ISO质量体系文件管理助力企业把好质量关
07-03 375
然而，面对复杂的ISO质量体系文件管理，许多企业仍显得，面临诸多难题。基于合规、安全、高效的业务流程管控，结合文件在新增、修订环节中文件版本、文件权限及文件状态的三态变化，实现ISO体系文件的全生命周期管理，帮助企业实现质量管理体系要求的规范化落地建设。，同时囊括了流程审批与文件流通，通过权限的分配与回收，帮助企业对文件的使用与流转进行管理，简化文件借阅流程，保障文件安全可控，监督文件内容合规，提升文件流转效率。签收后进行文件授权，确保文件的安全可控，还可以根据需要更改签收策略，提高文件流转效率。
博客
鸿翼打造企业级AI Agent智能体平台，构建AI +ECM全业务场景
07-03 642
鸿翼AI Agent智能体平台基于鸿翼ECM CORE之上，将企业各项业务系统中的非结构化数据统一采集和存储，通过进一步萃取和凝练转化为企业知识，通过RAG管道实时地将企业海量知识接入大模型，让企业私有大模型能够不断学习和进化，然后在大模型之上建立掌握岗位知识、懂业务的AI Agents智能体群，这些智能体群将反哺于企业各项业务，实现从数据获取到内容转换、知识形成再到智能实现的正向循环。在AI驱动的新时代中，鸿翼AI Agent智能体平台不仅是企业管理效率提升的工具，更将成为企业数智化转型的新引擎。
博客
鸿翼FEX文件安全交换系统，打造安全高效的文件摆渡“绿色通道”
07-03 565
无论是芯片、医疗还是金融等行业，鸿翼FEX文件安全交换系统能够帮助企业解决多网环境下跨网文件交换中的种种“症结”，在符合等保和行业监管要求的基础之上，为企业提供了更高效、更安全、更可控的文件交换工具，让数据流动更安全，业务发展更高效，为企业数据资产保驾护航。从文件交换前的交换规则制定，到交换中的人员权限控制和内容审核，再到交换后的文件一致性和安全性审核，各个环节中提供人性化、智能化的便捷功能，赋能企业合规有序地进行文件交换工作，并且能够通过流程实现自动化的文件交换。根据企业不同业务场景下的文件摆渡需求，
博客
鸿翼ECM统一AI检索应用全景，为企业打造全方位搜索服务
07-03 436
集成丰富的数据接口，打通多业务系统，快速对接各个业务系统的非结构化、半结构化、结构化数据，采用自然语言处理NLP、文字识别OCR、自动语音识别ASR等技术识别和抽取内容，挖掘数据价值。只需通过创建索引库、字段管理、切面管理、创建页面、搜索入口组建配置、搜索结果组件配置六个步骤，从应用管理到前端配置，帮助用户快速搭建满足各种个性化场景的搜索需求。融合检索增强生成RAG、知识图谱等先进的人工智能技术，帮助企业实现企业级全文检索、多属性检索、多数据源统一检索、智能检索等多样化的搜索场景。
博客
多维度多场景文档门户，鸿翼ECM文档云打造文档管理新范式
07-03 349
鸿翼ECM文档门户解决方案，满足企业多视角、多维度的文档业务需求，将帮助大中型企业构建一个高效、一体化的文档业务场景门户，不仅提升了文档管理和内容协作的效率，也为企业的数字化转型和内外部协作提供了强大的支持。从样式、布局、元素到内容，丰富的门户元素保证了门户配置过程中，用户能够自主发挥，预置的多种门户模板拿来即用，最大限度实现个性化需求的同时，又确保门户配置快速高效。所见即所得的门户配置，实时预览时可选择不同权限用户、不同数据来源，实时查看门户配置效果，大大提高门户从配置到正式发布的效率。
博客
探索企业知识边界，鸿翼ECM AI助手开启智慧问答新时代
07-03 434
在信息化迅速发展的当下，企业积累的数字文档数量巨大，这些文档中蕴含的深层信息对业务发展至关重要。鸿翼ECM 文档云基于鸿翼 InWise 内容智能平台的开放可扩展的AI组件配置化能力，打通了文档和内容的抽取、解读、生成、问答、检素、图谱分析等一系列数据智能的链路，与传统的一次性查询不同，AI文档助手通过对话形式与用户互动，准确捕捉需求，动态提供信息，并从企业文档云中提取内容来源文档。实现了文档和内容处理的全流程智能化，全面赋能企业文档云AI应用场景，使企业文档管理迈向了一个全新的、更智能的层次。
博客
“章”显智慧，让公文管理“聪明起来”！
07-03 257
基于ECM Core内核，拥有非结构化数据从采集、存储、处理、管理、传递、展现，到洞察、归档的全生命周期所有环节能力，具备大规模支撑、海量数据处理、多应用系统架构、内容模型架构、非结构化数据治理体系、数据资产化、360° AI洞察等多年沉淀的硬核能力，可协助企业与组织完整应对文档在协作、安全、应用、管理、合规、数据、治理等各方面的问题与挑战。基于自然语言处理（NLP）技术，对公文内容进行自动校对和审核，能够检查错别字、语法问题、不一致的术语使用、潜在的敏感词汇以及政治错误，确保公文的专业性和合规性。
博客
以智领航 鸿翼助力企业构筑智能化知识管理体系
07-03 343
数字化时代，随着对数据价值挖掘技术的不断升级，“知识的力量”提升到了前所未有的高度，做好知识管理不仅能提高企业员工的工作效率，还可以沉淀企业的工作经验与优秀案例，以知识提升员工综合素质，减少员工的培训成本和企业的时间成本，增强企业核心竞争力。：同时，鸿翼KM知识管理系统也能够辅助用户创作，基于给出的信息自动生成新的内容，为用户自动生成文档标签，并且可以基于文档的内容实体创建可下探的知识图谱，以“智能”缩短用户触达知识的通路，实现知识与用户之间的“赋能与创造”的闭环。而作为高效可协同的在线创作平台，
博客
全面AI化，定位数据基础设施 —— 鸿翼引领下一代内容管理平台
07-03 354
作为鸿翼 ECM 产品体系统一的 AI 中台，InWise支持以AI组件化方式进行灵活拼装，全面赋能企业网盘、文档云、知识管理、档案管理、医药质量体系管理等多个 AI 应用场景，引领着下一代智能内容管理平台的发展趋势，助力企业的数智化转型。近期重磅推出的AI工作台，是文档云与知识管理的 AI 应用主工作区，更是具备智能认知力的小助手，基于企业专属大模型的支撑，可以为用户提供生成式 AI 服务，包括LLM 问答、文档 AI 操作指令、文档解读、文档生成四个功能板块。
博客
2024鸿翼加速推进数据要素生产力，“五驾马车”再启新鸿图
07-03 330
一是随着企业数字化转型的不断深入和数据量的爆发式增长，企业对文件、档案和知识管理等ECM智能内容管理领域的需求日趋强劲，二是公司持续的产品研发投入，提供了以非结构化数据管理为核心的，覆盖文件“采集+存储+治理+安全合规+数据利用与开发+长期保存”全生命周期的，以及融合了最新的AI大模型技术的全栈式内容管理解决方案，深度赋能企业数字化转型。过去的2023年，在大家逐步走出3年疫情，对经济复苏的美好期待中，一路“高开低走”的市场态势，相信让许多的数字化从业者感受到了业务的沮丧和寒意。
博客
鸿翼助力中信国安建工打造统一的文件档案管理系统，构建数据资产
07-03 529
未来，数据必将成为一种新型的生产要素。”中信国安建工信息中心主任说道。在技术方面，我们发现对于一些过程性的文件，比如图纸、照片、影像、纸质资料等非结构化数据，我们缺少一个完整的文档控制和协同平台，以更好地从海量的、类型复杂的工程数据中迅速找出、挖掘出数据价值，进而实现业务赋能智能化和人员赋能价值化。我们使用鸿翼文档管理系统的协作共享功能，通过明确文档创建者、文档移交者、文档审阅者、文档使用者的权限，在同一个文档上面进行规范化操作，保证了文档数据的准确性、及时性、一致性、安全性，解决了部门之间的协作问题。
博客
【无标题】
04-11 631
这其中，载体寿命是大家关注的焦点，设备厂商的宣传资料固然不可信，个人用户的实践经验也失之偏颇，同一类别但不同型号的产品差异也很大，另外，载体的寿命也和保管环境、应用场景紧密相关。以电子文件为主体内容的档案数字资源同样高度依赖存储载体，载体可以说是档案数字资源的生存环境，是档案数字资源承载信息、留存信息、读取信息的存储介质，载体安全可靠是档案数字资源信息和内容安全可靠的重要保障。其主要特点和DVD光盘一样，存储和使用的寿命较长，稳定性好，不易篡改，但关键设备受制于国外，目前常用于WORM备份和离线备份。
博客
从比特保存和信息保存看数字资源长期保存
04-07 429
其中长期保存系统根据OAIS模型构建，包括资源入库、数据管理、存储管理、资源出库、保存策略和系统管理等功能模块，管理对象为数字资源的保存信息包（AIP），即将数字资源的电子全文和元数据打成一个完整的信息包，确保数字资源的真实、完整、可用和安全。从数字资源长期保存的角度来看，主要是针对冷数据存储的离线存储载体，目前市场上常见的离线存储载体包括磁（磁盘、磁带）、光（DVD光盘、蓝光光盘）、胶（缩微胶片、数字胶片），电介质载体（固态硬盘、U盘等）一般较少用于离线存储。例如，由于保存环境不规范，导致备份载体损坏；
博客
卫龙携手鸿翼打造研发知识管理平台，“辣条一哥”再次为食品安全和健康发力
04-06 516
知识就是第一生产力。结合核心业务建立不同类型的知识资产管理库，包括但不限于项目知识库、资料库、专家库等，从实际用户使用习惯出发，建立面向多部门、个性化的知识门户，便于知识内容展现与推送，从隐性知识显性化、社会化角度，建立面向业务需求的知识社区，便于内部的知识更新、分享、学习与创新。在智能化、数字化的大势之下，卫龙研发中心携手鸿翼，共建安全统一的研发知识管理平台，对知识进行归集、共享、利用和创新，将“健康”基因厚植于品牌的竞争壁垒之中，助力卫龙更好地穿越消费周期，提升品牌资产。
博客
档案数字资源长期保存的“长期”是多少年？
04-04 430
一直以来，档案保管期限“永久、长期、短期”的称谓深入人心（最早出自1987年国家档案局发布的《关于机关档案保管期限的规定》），尽管现在保管期限已经不是“永长短”，取而代之的是“永久和定期”，定期再分30年、10年等（出自2006年国家档案局8号令《机关文件材料归档范围和文书档案保管期限规定》）。从以上权威机构发布的文件以及相关的国内外标准规范上的定义可以看出，对于档案数字资源长期保存期限到底是多少年，尽管没有一个统一的、非常明确的说法，但确实没有低于50年的观点。这应该是根据人的寿命为参照依据作出的推算。
博客
原子之心：再现前苏联尘封档案的迷人风采（下）
04-03 575
在苏联科学家杰米霍夫教授的设想中，凭借由泵动机和胶管模拟动物心肺功能的体外循环机，他们可以让切割下来的狗头存活四个小时，若将狗头安装在机器人身上，便可获得军事用途的狗头机器人，但是这项骇人听闻的实验没有进行下去，最终被苏联政府叫停。它的工作原理是实时收集和分析来自全国各地的数据，并给出最优的策略。1955年，更强大的“大集体2.0”即将上线，只需接受聚合物注射，人类也能链接到神经网络中，全苏联、乃至全世界的人们都能获得个人“思想”器，融入到同一个系统中，达到意识互联、知识共享并且可以轻松控制机器人？
博客
原子之心：再现前苏联尘封档案的迷人风采
03-31 302
原子之心》中的城市设计展现了苏联时期的未来城市幻想。切洛梅综合体代表了人类城市的未来——计划将人们重新安置到不依赖于气候条件的类似移动平台，在新建筑中提供舒适的生活空间、可以漫步的公园、现代化的基础设施和便利的通勤条件。冷战时期苏联科学家以原子能和太空技术等为科技基础的未来幻想，是人们口中津津乐道的“苏联黑科技”、想象力爆表的军事武器，也是众口相传却又难辨真伪的“苏联恐怖实验”，而《原子之心》中各类机器人和武器的设计则与这些黑科技有着千丝万缕的关系。用超现实的质感见证着一场义无反顾、全民动员的造梦运动。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值