程序设计1

原创 2006年06月02日 10:11:00

 

当处理大批量的数据时,不仅要考虑算法的正确性,也要关注程序实现的健壮性,如果发生存储资源不足等类似的问题时,你做如何的应对?

在专利搜索中,有一个叶子节点的处理器,是对输入的文本分词,并统计词的频率,记录其所有出现的位置(包括段号、句号、句内位置号),词及其统计信息可被称为一个factor,该处理器就是把文本变换成这样一个factor序列。原来使用数组来存储这个序列(为的是可以随机存取),并且不做预先扫描来确定其精确的存储空间,就开了个最大值——文本中词语的个数(为了时间上的效率考虑)。但今天早晨发现,有一个说明文本在10M以上,其词语的个数以百万计,而在当时我的机器运行环境下,申请内存空间的操作造成了程序的崩溃。

也就是说,作为内核部分,要为健壮性而设计,必须考虑这个factor序列的存储机制,如果内存空间不够怎么办?毕竟,对于该处理器来讲,输入是可以任意大的。

一个教训。

 

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

JAVA基础【1.5】《Java核心技术1》Java程序设计概述-Java JDK1.8新特性【收集】

Java 9预计将于今年9月份发布,这是否会是一次里程碑式的版本,我们拭目以待。今天,我们先来复习一下2014年发布的Java 8的十大新特性。 Java 8可谓是自Java 5以来最具革命性的版本...

PAT 《C/C++/Java/Pascal 程序设计基础》习题集 (1) IO

PAT 《C/C++/Java/Pascal 程序设计基础》习题集 最近在学校闲来无事,就做了PAT的习题集,先从基础开始,以下C语言代码为本人所写,均已测试通过,供大家参考。

Windows程序设计读书笔记(1)

读这本书完全是被它的名气所吸引的,看了之后发现确实不负众望,是一本不可多得的好书。这是一本讲述在windows环境下用C和API编程的书,习惯了各种RAD开发,看了本书以前很多不解的东西茅塞顿开。第一...

C++面向对象程序设计阅读笔记1——C++初步

关于C++,以下先记录自己今天学习到的重点。  1.#include指预处理命令;主函数main,类型声明符int,(return 0);注释形式(//和/*...*/);;头文件iostream;...

Arduino 平台与C语言程序设计-week1-Arduino Environment-Lesson3

This series of articles are the study notes of "An Arduino platform and C Programming", by Prof. Har...

2007年百度之星程序设计大赛试题初赛题目-题1-百度的高级搜索方法

题面描述:  你尝试过在百度上使用 site inurl 语法查询吗 ? 如果还没有的话可以试一下 :)  如输入 site:www.baidu.com inurl:news  则会搜...

Windows程序设计__孙鑫C++Lesson7《对话框操作1》

Windows程序设计__孙鑫C++Lesson7《对话框操作1》 本节要点 1.对话框分类 2.对话框的产生 3.动态创建按钮 4.7种方法实现编辑框加法运算 5.伸缩对话框实现 6...

Javascript高级程序设计——9.正则表达式(1)

1、正则表达式 (1)定义:描述字符模式的对象 ECMAScript的RegExp类表示正则表达式 (2)作用:验证客户端的输入函数,即在用户填写完表单单击按钮后,表单被发送到服务器,在服务器端通  ...

运算符重载-编程题#1(C++程序设计第4周)

编程题 #1 来源: POJ (Coursera声明:在POJ上完成的习题将不会计入Coursera的最后成绩。) 注意: 总时间限制: 1000ms 内存限制: 65536kB 描述 下面程序...

L1-023. 输出GPLT-PAT团体程序设计天梯赛GPLT

L1-023. 输出GPLT 给定一个长度不超过10000的、仅由英文字母构成的字符串。请将字符重新调整顺序,按“GPLTGPLT….”这样的顺序输出,并忽略其它字符。当然,四种字符(不区分大小...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)