- 博客(21)
- 资源 (10)
- 收藏
- 关注
转载 基于内容的视频分析与检索技术及其教学应用
<br />刘俊晓 孟祥增 吴鹏飞<br /> 山东师范大学传播学院 山东济南 250014<br />【摘要】基于内容的视频分析与检索技术自从提出以来,一直受到许多学者的关注和重视,并取得了很大的发展。本文从视频结构的分析入手,概述了基于内容的视频分析的三个发展阶段及其关键技术,并对其在国内外的应用状况进行了总结,最后探讨并展望了其在教学领域中的应用。<br />【关键词】视频数据;基于内容的分析与检索;教学应用<br /> 近年来,数字视频信息出现了飞速膨胀,新的视频应用,如数字
2011-04-01 14:11:00 1980
转载 Mongodb源码分析--日志及持久化
在本系列的第一篇文章(主函数入口)中,介绍了mongodb会在系统启动同时,初始化了日志持久化服务,该功能貌似是1.7版本后引入到系统中的,主要用于解决因系统宕机时,内存中的数据未写入磁盘而造成的数据丢失。其机制主要是通过log方式定时将操作日志(如cud操作等)记录到db的journal文件夹下,这样当系统再次重启时从该文件夹下恢复丢失的(内存)数据。也就是在_initAndListen()函数体(db.cpp文件第511行)中下面这一行代码: dur::startup(); 今天就以
2011-04-01 11:24:00 519
转载 mongodb源码分析--查询
在之前的一篇文章中,介绍了mongodb的主程序入口main()的执行流程,其实main只是实始化一些参数信息并做了些后台线程任务的启动工作(包括数据准备和恢复),并最终启动一个线程进行循环侦听。今天将会介绍在mongodb中数据查询 (find)的流程,以了解mongodb是如果对message进行拆包分析,以及数据进行表扫描及索引使用的。 好了,开始今天的正文吧! 这里继续昨天的代码浏览过程,从connThread函数说起,看了上一篇文章的朋友都清楚了该函数主要工作就
2011-04-01 11:22:00 506
转载 Mongodb源码分析--主程序入口main()
作为这个系列的开篇,本人特此声明,因为本人技术功力有限,且对mongodb源码目前也在研究探索中,可能会对mongodb内部某些实现机制及原作者的意图领会不够精确,因此错误再所难免,希望大家批评指正。另外本文所使用的mongodb源码为1.8 rc1,同时如果有条件的话,大家可以安装vs2010,用C++来编译调试mongodb源码,以便通过运行过程中的数据和流程来验证自己的判断。 VS2010 C++下编译调试MongoDB源码 http://www.cnblogs.
2011-04-01 11:21:00 525
转载 VS2010 C++下编译调试MongoDB源码
考虑到mongodb使用了boost库源码,参考mongodb官方文档后,下载编译boost版本是1.42(时间为2010-2-2)或更新版本: boost版本1.42: http://sourceforge.net/projects/boost/files/boost/1.42.0/boost_1_42_0.zip/download 下载boost源码之后,我把boost解压在D盘。 1.在D:/boost_1_42_0/下找到该批处理文
2011-04-01 11:20:00 525
转载 基于MongoDB分布式存储进行MapReduce并行查询
<br /> <br />之前的文章中介绍了如何基于Mongodb进行关系型数据的分布式存储,有了存储就会牵扯到查询。虽然用普通的方式也可以进行查询,但今天要介绍的是如何使用MONGODB中提供的MapReduce功能进行查询。<br /> 有关MongoDb的MapReduce之前我写过一篇文章 Mongodb Mapreduce 初窥,<br /> 今天介绍如何基于sharding机制进行mapreduce查询。在MongoDB的官方文档中,这么一句话:
2011-04-01 11:16:00 722
原创 数值交换算法
常见的有三种方法:(1)使用临时变量 (2)不使用中间变量,仅使用加法运算 (3)不使用中间变量,使用异或XOR操作#include template void swap_var(T &a, T &b){ T tmp; tmp = a; a = b; b = tmp;} template void swap_add(T &a, T &b){ a = a - b; b = a + b; a = b - a;}template voi
2011-04-01 10:42:00 429
转载 基于Mongodb分布式存储物理文件
<br /> <br />在之前的文章中介绍了如何对关系型数据数据通过auto-sharding进行分布式数据存储,今天介绍如何对物理文件(小文件,基本小于100K)进行分布式存储。<br /> <br /> 接着看一下要配置的测试环境(与前一篇中类似):<br /> 模拟2个shard服务和一个config服务, 均运行在10.0.4.85机器上,只是端口不同: <br /> Shard1:27020<br />
2011-04-01 10:27:00 659
转载 基于Mongodb进行分布式数据存储
<br /> <br />注:本文是研究Mongodb分布式数据存储的副产品,通过本文的相关步骤可以将一个大表中的数据分布到几个mongo服务器上。<br /> MongoDB的1.6版本中auto-sharding功能基本稳定并可以尝试放到生产环境下使用。因为其是auto-sharding,即mongodb通过mongos(一个自动分片模块,用于构建一个大规模的可扩展的数据库集群,这个集群可以并入动态增加的机器)自动建立一个水平扩展的数据库集群系统,将数据库分表存储在sharding的各个节点
2011-04-01 10:16:00 533
转载 使用Mongodb存储上传物理文件并进行SQUID加速(基于aspx页面)
<br /> <br />之前在阅读MongoDB GFS文档时,学习了它如何存储物理文件(包括大文件)的方式。为了加深印象,专门写了一个上传文件存储到Mongodb的示例。当然后因为是存储到文档数据库中,所以就不能用普通方式来访问这些物理文件了,这里又专门写了一个aspx页面专门读取这些文件(比如图片或MP3等),所以下载示例之后会看到两个页面,一个是uploadfile.aspx(上传),一个是getfile.aspx(从mongodb中把文件以流的方式读出来)。当然考虑到访问速度,这里还引入了SQ
2011-04-01 10:13:00 467
转载 Discuz!NT千万级数据量上的两驾马车--TokyoCabinet,MongoDB
<br /> <br />在Discuz!NT的企业版设计过程中,处理大数据表一直是一个让人头疼的问题,特别是像主题表(topic),用户表(user)等,因为对于一个流量和发帖量都很大的论坛而言,在运行几年之后,这两个表的数据量可能会破千万(注:因为帖子表采用分表机制,所以这里暂未涉及,但出于性能考虑,也提供了本文中类似的解决方案)。当时考虑的架构设计中有两种思路来解决这种问题:<br /> 一种是采用类似MYSPACE的方式,即按一定记录KEY值(比如用户表的UID)来对大数据表中的记
2011-04-01 10:07:00 1008
转载 Mongodb Mapreduce 初窥
<br /> <br />声明:本文是学习Mongodb过程中的副产品,因为接触时间并不长,难免有理解上的偏差,希望借此文与感兴趣的朋友讨论切磋,呵呵。<br /> 去年年底,开始接触并学习Mapreduce模型。因为工作上的关系,最近开始研究Mongodb,其中对其新特性(2010年四月)reduce模型实现产生的兴趣,因为特别留意了一下。当然网上关于该方面的内容并不是很多,且多为EN文,所以我想有必要将学习使用过程中的一些问题作一下记录并加以整理,因为就有了此文。<br />
2011-04-01 10:05:00 446
转载 Mongodb源码分析--插入记录及索引B树构建
<br />在之前的一篇文章 中,介绍了assembleResponse函数(位于instance.cpp第224行),它会根据op操作枚举类型来调用相应的crud操作,枚举类型定义如下:<br /><br /><br /> enum Operations {<br /> opReply = 1 , /* reply. responseTo is set. */ <br /> dbMsg = 1000 , /* gene
2011-04-01 10:02:00 1024
原创 字符串Hash函数评估
<br />Hash查找因为其O(1)的查找性能而著称,被对查找性能要求高的应用所广泛采用。它的基本思想是:<br />(1) 创建一个定长的线性Hash表,一般可以初始化时指定length;<br /><br />(2) 设计Hash函数,将关键字key散射到Hash表中。其中hash函数设计是最为关键的,均匀分布、冲突概率小全在它;<br /><br />(3) 通常采用拉链方法来解决hash冲突问题,即散射到同一个hash表项的关键字,以链表形式来表示(也称为桶backet);<br />
2011-04-01 09:54:00 614
转载 数据相似性检测算法
<br />1、引言<br /> "数据同步算法研究"一文研究了在网络上高效同步数据的方法,其中有个前提是文件A和B非常相似,即两者之间存在大量相同的数据。如果两个文件相似性很低,虽然这种方法依然可以正常工作,但数据同步性能却不会得到提高,甚至会有所降低。因为会产生部分元数据
2011-04-01 09:53:00 1358
转载 高效存储技术研究
<br />1 引言<br />物质、能量和信息是自然科学研究的三个基本对象,处理、传输和存储是信息计算的三大基本任务。随着信息化技术水平的不断提高,数据已经取代计算成为了信息计算的中心,数据将成为企业最终有价值的财富。1998年图灵奖获得者Jim Gray曾断言:现在每18个月新增的存储量等于有史以来存储量之和。根据预测,2020年数据宇宙将达到35.2 ZB(1 ZB = 1百万PB),比2009的0.8ZB增加44倍。在如此强大的实际需求推动下,人们不断追求海量存储容量、高性能、高安全性、高可用性、可
2011-04-01 09:49:00 510
转载 重复数据删除(De-duplication)技术研究
<br />1、Dedupe概述<br /> De-duplication,即重复数据删除,它是一种目前主流且非常热门的存储技术,可对存储容量进行有效优化。它通过删除数据集中重复的数据,只保留其中一份,从而消除冗余数据。如下图所示。这种技术可以很大程度上减少对物理存储空间的需求,从而满足日益增长的数据存储需求。Dedupe技术可以带许多实际的利益,主要包括以下诸多方面:<br /> (1) 满足ROI(投资回报率,Return On Investment)/TCO(总持有成本,Total Cost of O
2011-04-01 09:48:00 625
转载 重复数据删除(De-duplication)技术研究
<br />1、Dedupe概述<br /> De-duplication,即重复数据删除,它是一种目前主流且非常热门的存储技术,可对存储容量进行有效优化。它通过删除数据集中重复的数据,只保留其中一份,从而消除冗余数据。如下图所示。这种技术可以很大程度上减少对物理存储空间的需求,从而满足日益增长的数据存储需求。Dedupe技术可以带许多实际的利益,主要包括以下诸多方面:<br /> (1) 满足ROI(投资回报率,Return On Investment)/TCO(总持有成本,Total Cost of O
2011-04-01 09:47:00 461
转载 重复数据删除(De-duplication)技术研究
<br />1、Dedupe概述<br /> De-duplication,即重复数据删除,它是一种目前主流且非常热门的存储技术,可对存储容量进行有效优化。它通过删除数据集中重复的数据,只保留其中一份,从而消除冗余数据。如下图所示。这种技术可以很大程度上减少对物理存储空间的需求,从而满足日益增长的数据存储需求。Dedupe技术可以带许多实际的利益,主要包括以下诸多方面:<br /> (1) 满足ROI(投资回报率,Return On Investment)/TCO(总持有成本,Total Cost of O
2011-04-01 09:47:00 505
原创 数据同步算法研究
<br />1、引言 <br /> 基于LAN或WAN的网络应用之间进行数据传输或者同步非常普遍,比如远程数据镜像、备份、复制、同步,数据下载、上传、共享等等,最为简单的做法自然就是对数据进行完全复制。然而,数据在网络上来回被复制多次后就会存在大量副本,很多情形下这些文件副本之间仅有很小的差异,很可能是从同一个文件版本演化而来。如果对文件进行完全复制,在文件较大的情况下,会占用大量网络带宽,同步时间也会较长。目前,广域网WAN的带宽与访问延迟仍然是急需解决的问题,完全复制使得很多网络应用无法提供良好的服务质
2011-04-01 09:45:00 480
转载 mongodb小结
<br />用了一阵子mongodb,作一些小结,作为将来的参考。按照以往的习惯,先作一个总览,然后再挑出一些自己比较关注的几个点,作为珠玑,加以串联阐述。<br />mongodb由C++写就,其名字来自humongous这个单词的中间部分,从名字可见其野心所在就是海量数据的处理。关于它的一个最简洁描述为:scalable, high-performance, open source, schema-free, document-oriented database。我对于文档型数据库有一些个人
2011-04-01 09:12:00 367
Programming C#中文版(第4版).part3
2011-07-27
DevComponents.DotNetBar v8.8.0.0.for.NET.part2.rar
2010-09-19
DevComponents.DotNetBar v8.8.0.0.for.NET.part1.rar
2010-09-19
(C#)ListViewEx--扩展 ListView
2009-11-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人