gggwfn1982的博客

这里关注的是一切与编程有关的技术

数据仓库

为什么使用数据仓库? 当如下的场景发生时,说明我们需要使用数据仓库这种解决方案。 当我们要对大量的历史记录信息进行存储与分析时。 当我们需要对系统快速地查看报表与图表时。 当我们对分析的操作有多个维度,多个层级时,并且需要查询组合了 多个维度且在每个层级的统计指标数据时。 数据仓库的实现目标是...

2019-06-24 18:08:37

阅读数 13

评论数 0

系统需求分析示例

系统软件非功能性需求分析 1存储容量两年内最大100TB,主要为图纸文档之类的非结构化的资源数据。 2并发性指标:QPS峰值10万,平时5千左右 3高可用性要求,需要有异地灾备系统。保证在系统故障发生时,可以实时切换到备用系统。参考服务质量保证等级。 4运维要求自动化部署。出错后自动回滚至之前的正...

2019-06-18 19:12:08

阅读数 5

评论数 0

软件源于数学,开发要抓住不变部分,形成模式,再进化成框架

软件源于数学,开发要抓住不变部分,形成模式,再进化成框架 软件的抽象方法继承于数学,例如求和符号。数列的数据项的表达式千变万化,求和的形式不变。求和的数据项在软件中由一个常量抽象为一个表达式。在一个数列上的求和,求积,计数等,计算方法是千变万化的,对数列的遍历过程是不变的,表示计算方法的表达式被抽...

2019-06-05 21:47:34

阅读数 11

评论数 0

第一个大规模商业化应用的分布式文件系统 GFS

本文是一篇论文,英文原文标题为The Google File System,在Google Labs上公布, 由blademaster.ixiezi.com的博主Alex翻译为中文,Google GFS文件系统。 现在云计算渐成潮流,对大规模数据应用、可伸缩、高容错的分布式文件系统的 需求日渐增长...

2019-05-14 20:59:57

阅读数 5

评论数 0

ORA-01747

ORA-01747: user.table.column, table.column 或列说明无效 原因是:列名使用了oracle的关键字 解决方法:把这样的列名,mode,type,versions 改成与关键字不冲突的名字。 ...

2019-05-04 21:51:37

阅读数 238

评论数 0

分布式体系架构的前世今生

分布式体系架构的前世今生 1 分布式的历史发展 在计算机网络的诞生之初,目的纯粹是军用。考虑的是如何在敌方搞破坏的情况下, 仍然能保证网络的健壮性,在若干个结点失效后,整个网络仍然能够发挥它的效能。 最终的解决方案选择了没有中心结点的网状体系结构。这就是计算机业领域内的最早 的分布式架构。是计...

2019-05-02 09:53:40

阅读数 41

评论数 0

图灵奖得主的得奖论文 大型的共享数据银行的数据的一个关系模型 第3部分

1.4 规范化的形式 一个关系它的域都是简单域,在存储方面,它能被表示为一个二维的 如上讨论的类型的与列同质的数组。对于有一个或者是多个非简单域的关系,一些更加复杂的数据结构是必要的。为了这个原因(如下所列的其它原因)消除非简单域的可能性值得研究一下,事实上有一个非常简单的消除非简单域的程序,我们...

2019-04-22 14:12:05

阅读数 22

评论数 0

图灵奖得主的得奖论文 大型的共享数据银行的数据的一个关系模型 第2部分

1.2.3存取路径依赖 许多的现有的格式化的数据系统给用户提供了树形结构的文件,或者是 数据的稍微更加通用化一点的网络模型。如果在结构上这些树或者是网络模型被改变,工作在这些系统上的已开发的应用程序能被逻辑性的损害。一个简单的例子如下: 假定数据银行包括了部分和项目的信息。对于每个部分,它有部分编...

2019-04-20 17:52:40

阅读数 7

评论数 0

图灵奖得主的得奖论文 大型的共享数据银行的数据的一个关系模型

大型的共享数据银行的数据的一个关系模型 E.F.CODD 1970年 加利福尼亚的IBM的研究实验室 大型数据银行的未来的用户必须脱离这种状态。这种状态是作为用户 不得不知道数据是如何在机器中被组织的(即数据在机器内部的表示)。 一个提示性的服务,它能提供这样的信息,这不是一个令人满意的解决 ...

2019-04-18 21:55:31

阅读数 27

评论数 0

关系数据库的范式理解

关系数据库的范式理解 什么是第一范式,什么是第三范式? 问这个问题的人,有技术人员和非技术人员两种。 对技术人员的回答是表中无表的,字段不包括字段的是第一范式,把第一范式中的一张表 按照依赖关系,即数据冗余的情况,拆分成多个表,使表没有外键的依赖和函数性的依赖就到了第三范式。 对于非技术性人员的...

2019-04-18 08:04:16

阅读数 9

评论数 0

HDFS分布式文件系统的理解

HDFS分布式文件系统的理解 对于分布式文件系统的理解,根据读者的目的的不同而不同,例如, 如果你的目标是开发一个与之类似的文件系统,那么需要关注它是如何实现了 高容错性和高吞吐量的需求的。 高容错性的实现依赖于对文件中的块在不同的机器 上进行多次备份。这是使用数据冗余的技术的。复制的策略名称结...

2019-04-12 22:24:31

阅读数 4

评论数 0

大数据中的数据的价值的大小的度量

大数据中的数据的价值的大小的度量 1数据的老化:如果你的电话通讯录半年没有任何更新维护,可能把一半的电话号码 打不通了,或者电话号码的主人变更了。如果是两年没有任何更新可能四分之三的 号码都失效了。这就是数据的老化。老化体现了数据的改变程度。 有两个极端,一个是时时变化的数据,例如股价,汇率等,...

2019-04-11 19:21:15

阅读数 53

评论数 0

大数据的MapReduce 的模型理解

大数据的MapReduce 的模型理解 何谓大数据,应该是数据的数量超级大,就是海量数据的意思。 那么多么大的数据才算大呢? 一亿,十亿条记录数据。还是一百亿呢。 MapReduce的做法是分布式的,并行式的,即分成很多的子任务,再汇总统计。 其实这不是电脑上的MapReduce的首创。类似的做...

2019-04-06 21:38:57

阅读数 609

评论数 0

软件工程师,需要会英语吗?

软件工程师,需要会英语吗? 请不要叫我码农,请不要叫我程序员,我是软件工程师。这是周星弛的电影台词。 现在先不论这个名称了,反正它的工作职责是写代码,抄代码,改代码,还有读代码。 问题是这个岗位需要会英语吗?如果需要,需要会到什么程度呢? 首先可以肯定的是一句英语也不会是不行的。程序代码是全英...

2019-04-05 19:36:49

阅读数 40

评论数 0

在儿童都开始编程的时代,程序员的核心竞争力在哪里?

在儿童都开始编程的时代,程序员的核心竞争力在哪里? 这个问题的思考与人人都学英语的情况下,专业的翻译人员的核心竞争力在哪里是类似的。 英语的语法规则的数量是很有限的。很快就学完了。英语的实力以单词量作为一个重要指标。 大学毕业的学生的词语量应该在一万个词以下。专业的翻译人员的单词量应该在十万个以...

2019-04-04 12:13:21

阅读数 39

评论数 0

网络图的布局算法的应用实例

根据网络图的表格式的布局算法,以如下的二维数组的数据为输入。生成如下的北京地铁的59个换乘站的拓扑关系图。 在把1到59的编号替换成相应的地铁换乘站的名称,即生成了北京地铁的关于换乘站的简略图。 [[1,2,3,4,5,6,7],[2,8],[8,9,10],[11,12,13,14,15,1...

2019-03-31 09:57:53

阅读数 74

评论数 0

网络图布局算法需要解决的问题列表

网络图布局算法需要解决的问题列表 连线交叉问题, 连线跨越结点的问题 连线只连接到结点的边缘的问题,这个问题需要计算几何的知识和软件包。 结点太多,跨越了显示区域边界的问题 结点争位置,导致结点无处放置的问题 工程方面的问题 结点形状扩展支持矩形,菱形,正五边形,圆角矩形等。 连线形状的扩展支...

2019-03-30 20:15:40

阅读数 28

评论数 0

数据可视化的网络图布局算法

数据可视化的网络图布局算法 采用把屏幕看成是一个大的表格,把结点放入合适的表格中。 第一条线 以列优先,从上到下排到第一列表格中, 第二条线,第一个结点如果在第一条线中,以这个结点以基础,以行方式 从左到右进行排列到表格中,如果第一个结点不在第一条线中,仍以列优先从上到下排到第二列表格中 第三条线...

2019-03-29 21:27:55

阅读数 124

评论数 0

魔方

魔方的分析 为魔方的六个面进行编码,对每个面的九个格子进行编码。 1前面,2下面,3左面,4右面,5上面,6后面 在一个面内分成了三行三列,编码为1,2,3,4,5,6,7,8,9。 第一行第一列为1,第一行第二列为2,、、、第三行第三列为9。 每个格子的编码为面编号+格子的编号。 这样的话...

2019-03-26 13:13:44

阅读数 10

评论数 0

编程语言应该学哪几种?

编程语言应该学哪几种? 学一种汇编语言,例如它有很多种汇编程,如宏汇编,英特尔的汇编 学一种过程范式的高级编程语言 例如C,C++ 面向对象的编程方法,从属于过程范式。 学一种函数式范式的编程语言,例如 lisp ,scheme,haskel,sql 学一种逻辑声明范式的编程语言 例如 prolo...

2019-03-18 21:54:59

阅读数 98

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭