信息系统项目管理师教材重点汇总--信息系统工程

软件架构设计的⼀个核⼼问题是能否达到架构级的软件复⽤

能否在不同的系统中使⽤同⼀个软件架构

软件架构分为:

①数据流风格: 批处理序列和管道/过滤器两种风格

②调⽤/返回风格: 主程序/⼦程序、数据抽象和⾯向对象,以及层次结构

③独⽴构件风格: 进程通信和事件驱动的系统

④虚拟机风格: 解释器和基于规则的系统

⑤仓库风格: 数据库系统、⿊板系统和超⽂本系统

在架构评估过程中,评估⼈员所关注的是系统的质量属性

敏感点和权衡点

敏感点是⼀个或多个构件(或之间的关系)的特性

权衡点是影响多个质量属性的特性,是多个质量属性的敏感点

软件架构评估技术--三类主要的评估⽅式

基于调查问卷(或检查表)的⽅式基于场景的⽅式基于度量的⽅式, 基于场景的评估⽅式最为常⽤

基于场景的⽅式主要包括: 

架构权衡分析法、软件架构分析法、成本效益分析法

在架构评估中,⼀般采⽤刺激(Stimulus)、环境(Environment) 和响应(Response)三⽅⾯来对场景进⾏描述

刺激是场景中解释或描述项⽬⼲系⼈怎样引发与系统的交互部分

环境描述的是刺激发⽣时的情况

响应是指系统是如何通过架构对刺激做出反应的

软件需求就是系统必须完成的事以及必须具备的品质。需求是多层次的。业务需求、⽤户需求和系统需求

质量功能部署(Quality Function Deployment,QFD)是⼀种将⽤户要求转化成软件需求的技术,其⽬的是最⼤限度地提升软件工程过程中⽤户的满意度

QFD 将软件需求分为三类,分别是常规需求、期望需求和意外需求

需求过程主要包括需求获取、需求分析、需求规格说明书编制、需求验证与确认

1)需求获取

需求获取只有与⽤户的有效合作才能成功。

常见的需求获取⽅法包括⽤户访谈、问卷调查、采样、情节串联板、联合需求计划等。

2)需求分析

需求分析对已经获取到的需求进⾏提炼、分析和审查,以确保所有的项⽬⼲系⼈都明⽩其含义并找出其中的错误、遗漏或其他不⾜的地⽅

⽤结构化分析(Structured Analysis, SA)⽅法,建⽴的模型的核⼼数据宇典

有三个层次的模型:数据模型、功能模型和⾏为模型(也称为状态模型)。

实体关系图(E-R 图)表示数据模型数据流图(Data Flow Diagram, DFD)表⽰功能模型状态转换图(State Transform Diagram, STD)表⽰⾏为模型

E-R图主要描述实体、属性,以及实体之间的关系;

DFD 从数据传递和加⼯的⾓度, 利⽤图形符号通过逐层细分描述系统内各个部件的功能和数据在它们之间传递的情况,来说明系统所完成的功能:

STD 通过描述系统的状态和引起系统状态转换的事件,来表⽰系统的⾏为, 指出作为特定事件的结果将执⾏哪些动作(例如,处理数据等)。

⾯向对象的分析 (Objeet-Oriented Analysis, OOA)的基本任务是运⽤⾯向对象的(Object-Oriented, 00)⽅法,

OOA 模型包括⽤例模型和分析模型,⽤例是⼀种描述系统需求的⽅法,使⽤⽤例的⽅法来描述系统需求的过程就是⽤例建模:分析模型描述系统的基本逻辑结构,展⽰对象和类如何组成系统(静态模型),以及它们如何保持通信,实现系统⾏为(动态模型)。

3)需求规格说明书编制

软件需求规格说明书(Sofiware Requirement Specification, SRS) 是需求开发活动的产物,编制该⽂档的⽬的是使项⽬⼲系⼈与开发团队对系统的初始规定有⼀个共同的理解,使之成为整个开发⼯作的基础,对于任何规模和性质的软件项⽬都不应该缺少。

4)需求验证与确认

需求评审需求测试⼯作来对需求进⾏验证

需求评审就是对 SRS 进⾏技术评审,以发现那些⼆义性的或不确定性的需求,为项⽬⼲系⼈提供在需求问题上达成共识的⽅法

统⼀建模语⾔(Unifed Modeling Language, UML),UML 的结构包括构造块、规则和公共机制三个部分

UML 中的事物也称为建模元素,包括结构事物(Structural Things)、⾏为事物 ( Behavioral Things, 也称动作事物)、分组事物 (Grouping Things) 和注释事物(Annotational Things, 也称注解事物)

2)UML中的关系

依赖(Dependency):是两个事物之间的语义关系,其中⼀个事物发⽣变化会影响另⼀个事物的语义

关联(Association):描述⼀组对象之间连接的结构关系

泛化(Generalization):是⼀般化和特殊化的关系,描述特殊元素的对象可替换⼀ 般元素的对象

实现 (Realization):是类之间的语义关系,其中的⼀个类指定了由另⼀个类保证执⾏的契约。

4) UML视图

包括5个系统视图:

逻辑视图:也称为设计视图,表⽰了设计模型中在架构⽅⾯具有重要意义的部分,即类、⼦系统、包和⽤例实现的⼦集。

进程视图:是可执⾏线程和进程作为活动类的建模,它是逻辑视图的⼀次执⾏实例,描述了并发与同步结构。

实现视图:对组成基于系统的物理代码的⽂件和构件进⾏建模。

部署视图:把构件部署到⼀组物理节点上,表⽰软件到硬件的映射和分布结构。

⽤例视图:是最基本的需求分析模型。

OOA的任务是“做什么”,OOD的任务是“怎么做”。

⾯向对象分析阶段的核⼼⼯作是建⽴系统的⽤例模型与分析模型

1)⽤例模型

在00A⽅法中,构建⽤例模型⼀般需要经历四个阶段,分别是识别参与者、合并需求获得⽤例、细化⽤例描述和调整⽤例模型

调整⽤例模型

包含关系:当可以从两个或两个以上的⽤例中提取公共⾏为时,应该使⽤包含关系来表⽰它们。其中这个提取出来的公共⽤例称为抽象⽤例,⽽把原始⽤例称为基本⽤例或基础⽤例

扩展关系:如果⼀个⽤例明显地混合了两种或两种以上的不同场景,即根据情况可能发⽣多种分⽀,则可以将这个⽤例分为⼀个基本⽤例和⼀个或多个扩展⽤例,这样使描述可能更加清晰

泛化关系:当多个⽤例共同拥有⼀种类似的结构和⾏为的时候,可以将它们的共性抽象成为⽗⽤例,其他的⽤例作为泛化关系中的⼦⽤例。在⽤例的泛化关系中,⼦⽤例是⽗⽤例的⼀种特殊形式,⼦⽤例继承了⽗⽤例所有的结构、⾏为和关系

2)分析模型

类之间的主要关系有关联、依赖、泛化、聚合、组合和实现

结构化设计(Structured Design, SD)是⼀种⾯向数据流的⽅法

SRS 和 SA阶段所产⽣的 DFD 和数据字典,⾃顶向下、逐步求精和模块化

将软件设计成由相对独⽴且具有单⼀功能的模块组成的结构,概要设计和详细设计,概要设计又称为总体结构设计

在SD 中,需要遵循⼀个基本的原则:⾼内聚,低耦合。内聚表⽰模块内部各成分之间的联系程度,耦合表⽰模块之间联系的程度

⾯向对象设计(00D)是00A ⽅法的延续,其基本思想包括抽象、封装和可扩展性,可扩展性主要通过继承和多态

常⽤的OOD原则包括:

单职原则:设计功能单⼀的类。本原则与结构化⽅法的⾼内聚原则是⼀致的。

开闭原则:对扩展开放,对修改封闭。

李⽒替换原则:⼦类可以替换⽗类

依赖倒置原则:要依赖于抽象,⽽不是具体实现;要针对接口编程,不要针对实现编程。

接口隔离原则:使⽤多个专门的接⼜⽐使⽤单⼀的总接口要好。

组合重⽤原则:要尽量使⽤组合,⽽不是继承关系达到重⽤⽬的。

迪⽶特原则(最少知识法则〉:⼀个对象应当对其他对象有尽可能少的了解。本原则与结构化⽅法的低耦合原则是⼀致的。

设计模式是前⼈经验的总结,它使⼈们可以⽅便地复⽤成功的软件设计。设计模式包含模式名 称、问题、⽬的、解决⽅案、效果、实例代码和相关设计模式等基本要素。

根据处理范围不同,设计模式可分为类模式和对象模式

类模式处理类和⼦类之间的关系,继承建⽴,在编译时刻就被确定下来,属于静态关系

对象模式处理对象之间的关系,运⾏时刻变化,更具动态性

根据⽬的和⽤途不同,设计模式可分为创建型 (Creational)模式、结构型(Structural)模式和⾏为型(Behavioral)模式

①创建型模式

创建对象,包括⼯⼚⽅法模式、抽象⼯⼚模式、原型模式、单例模式和建造者模式等

②结构型模式

处理类或对象的组合,包括适配器模式、桥接模式、组合模式、裝饰模式、外观模式、享元模式和代理模式

③⾏为型模式

描述类或对象的交互以及职责的分配,包括职责链模式、命令模式、解释器模式、迭代器模式、中介者模式、备忘录模式、观察者模式、状态模式、策略模式、模板⽅法模式、访问者模式

软件配置管理通过标识产品的组成元素、管理和控制变更、验证、记录和报告配置信息,来控制产品的演进和完整性

软件配置管理活动包括软件配置管理计划、软件配置标识、软件配置控制、软件配置状态记录、软件配置审计、软件发布管理与交付

软件配置管理计划的制订需要了解组织结构环境和组织单元之间的联系,明确软件配置控制任务。

软件配置标识活动识别要控制的配置项,并为这些配置项及其版本建⽴基线。

软件配置控制关注的是管理软件⽣命周期中的变更。

软件配置状态记录标识、收集、维护并报告配置 管理的配置状态信息。

软件配置审计是独⽴评价软件产品和过程是否遵从⼰有的规则、标准、 指南、计划和流程⽽进⾏的活动。

软件发布管理和交付通常需要创建特定的交付版本,完成此任务的关键是软件库。

编码就是把软件设计的结果翻译成计算机可以“理解和识别”的形式—⽤某种程序设计语⾔书写的程序。

1)程序设计语⾔。

2)程序设计风格。程序设计风格包括4个⽅⾯:源程序⽂档化、数据说明、语句结构和输⼊/输出⽅法

3)程序复杂性度量。程序的定量的复杂程度可以作为模块规模的精确限度。

4)编码效率。

①程序效率:程序的执⾏速度及程序所需占⽤的内存空间

②算法效率:反映为程序的执⾏速度和存储容量的要求。

③存储效率:是程序的简单化

④I/O 效率: ⼀种是⾯向⼈(操作员)的输⼊/ 输出;另⼀种是⾯向设备的输⼊/输出。

软件测试的⽬的是验证软件是否满⾜软件开发合同或项⽬开发计划、系统/⼦系统设计⽂档、SRS、软件设计说明和软件产品说明等规定的软件质量要求。通过测试发现软件缺陷,为软件产品的质量测量和评价提供依据。

软件测试⽅法可分为静态测试和动态测试。

①静态测试: 被测试程序不在机器上运⾏,⼈⼯检测和计算机辅助静态分析的⼿段

静态测试: ⽂档的静态测试和对代码的静态测试 ​​​​​​​

⽂档的静态测试: 检查单 ; 对代码的静态测试: 桌前检查(Desk Checking)、代码⾛查和代码审查

②动态测试

在计算机上实际运⾏程序进⾏软件测试。 ⽩盒测试和⿊盒测试

⽩盒测试也称为结构测试, 软件单元测试中。它的主要思想是: 透明的⽩盒,测试⼈员完全清楚程序的结构和处理算法,按照程序内部逻辑结构设计测试⽤例,检测程序中的主要执⾏通路是否都能按预定要求正确⼯作。⽩盒测试⽅法主要有控制流测试、数据流测试和程序变异测试

静态测试的⽅法也可以实现⽩盒测试,,⼈⼯检查代码。逻辑覆盖,有语句覆盖、判定覆盖、条件覆盖、条件/ 判定覆盖、条件组合覆盖、修正的条件/判定覆盖和路径覆盖

⿊盒测试也称为功能测试, 集成测试、确认测试和系统测试

⿊盒测试: 不透明的⿊盒,完全不考虑(或不了解)程序的内部结构和处理算法,⽽只检查程序功能是否能按照 SRS 的要求正常使⽤,程序是否能适当地接收输⼊数据并产⽣正确的输出信息,程序运⾏过程中能否保持外部信息(例如,⽂件和数据库等)的完整性

⿊盒测试:等价类划分、边界值分析、判定表、因果图、状态图、随机测试、猜错法和正交试验法

软件部署:软件打包、安装、配置、测试、集成和更新。软件的部署和交付不再是⼀个⼀劳永逸的过程,⽽是⼀个持续不断的过程,伴随在整个软件的开发过程中

软件部署与交付是软件⽣命周期中的⼀个重要环节,属于软件开发的后期活动,即通过配置、安装和激活等活动来保障软件制品的后续运⾏。影响着整个软件过程的运⾏效率和成本投⼊,软件系统部署的管理代价占到整个软件管理开销的⼤部分

为解决部署与交付常存在的问题,持续交付。⼀系列开发实践⽅法, ⽤来确保让代码能够快速、安全地部署到⽣产环境中。持续交付是⼀个完全⾃动化的过程

持续交付提供了⼀套更为完善的解决传统软件开发流程的⽅案,主要体现在:

在需求阶段,抛弃了传统的需求⽂档的⽅式,使⽤便于开发⼈员理解的⽤户故事;

在开发测试阶段,做到持续集成,让测试⼈员尽早进⼊项⽬开始测试;

在运维阶段,打通开发和运维之间的通路,保持开发环境和运维环境的统⼀。

持续交付具备的优势主要包括:

持续交付能够有效缩短提交代码到正式部署上线的时间,降低部署风险;

持续交付能够⾃动、快速地提供反馈,及时发现和修复缺陷;

持续交付让软件在整个⽣命周期内都处于可部署的状态;

持续交付能够简化部署步骤,使软件版本更加清晰;

持续交付能够让交付过程成为⼀种可靠的、可预期的、可视化的过程。

1)持续部署⽅案

容器技术是部署中最流⾏的技术,常⽤的持续部署⽅案有 Kubernetes+ Docker 和 Matrix 系统

2)部署原则

部署包全部来⾃统⼀的存储库;

所有的环境使⽤相同的部署⽅式;

所有的环境使⽤相同的部署脚本;

部署流程编排阶梯式晋级,即在部署过程中需要设置多个检查点,⼀旦发⽣问题可以有序地进⾏回滚操作:

整体部署由运维⼈员执⾏;

仅通过流⽔线改变⽣产环境,防⽌配置漂移;

不可变服务器;

部署⽅式采⽤蓝绿部署或⾦丝雀部署。

3)部署层次

部署层次,部署的⽬的并不是部署 ⼀个可⼯作的软件,⽽是部署⼀套可正常运⾏的环境。完整的镜像部署包括三个环节Build—Ship—Run

Build:跟传统的编译类似,将软件编译形成RPM包或者Jar包;

Ship:则是将所需的第三⽅依赖和第三⽅插件安裝到环境中;

Run:就是在不同的地⽅启动整套环境。

制作完成部署包之后,每次需要变更软件或者第三⽅依赖以及插件升级的时候,不需要重新打包,直接更新部署包即可。

4)不可变服务器

不可变服务器是⼀种部署模式,是指除了更新和安装补丁程序以外,不对服务器进⾏任何更改。

5)蓝绿部署和⾦丝雀部署

蓝绿部署:准备新旧两个部署版本,域名解析切换,切换,可以快速,对新版本进⾏修复和调整

⾦丝雀部署:先让少量⽤户使⽤新版本,观察,及时处理并重新发布,稳步地将新版本适配

⼯作职责和⼈员分⼯的转变:⾃动化开发⼯具,开发⾃动化的部署脚本。

⼤数据和云计算基础设施的普及进⼀步给部署带来新的飞跃:进⾏⾃动化创建和回收,远端进⾏,部署能⼒和灵活性

研发运维的融合

软件过程能⼒是组织基于软件过程、技术、资源和⼈员能⼒达成业务⽬标的综合能⼒。包括治理能⼒、开发与交付能⼒、管理与⽀持能⼒、组织管理能⼒

CSMM模型由4个能⼒域、20 个能⼒⼦域、161 个能⼒要求组成:

治理:包括战略与治理、⽬标管理能⼒⼦域

开发与交付:包括需求、设计、开发、测试、部署、服务、开源应⽤能⼒⼦域

管理与⽀持:包括项⽬策划、项⽬监控、项⽬结项、质量保证、凤险管理、配置管理、 供应商管理能⼒⼦域

组织管理:包括过程管理、⼈员能⼒管理、组织资源管理、过程能⼒管理能⼒⼦域

数据⼯程的主要研究内容包括数据建模、数据标准化、数据运维、数据开发利⽤和数据安全等理论和技术。

数据建模是对现实世界中具体的⼈、物、活动和概念进⾏抽象、表⽰和处理,变成计算机可处理的数据,也就是把现实世界中的数据从现实世界抽象到信息世界和计算机世界

数据模型划分为三类:概念模型、逻辑模型和物理模型

1)概念模型

概念模型也称信息模型,⽤户的观点,把现实世界 中的客观对象抽象为某⼀种信息结构,这种信息结构不依赖于具体的计算机系统,也不对应某个具体的 DBMS,它是概念级别的模型

2)逻辑模型

⽬前主要的数据结构有层次模型、 ⽹状模型、关系模型、⾯向对象模型和对象关系模型。

关系模型成为⽬前最重要的⼀种逻辑数据模型。

关系数据模型的数据操作主要包括查询、插⼊、删除和更新数据,关系的完整性约束包括三⼤类型:实体完整性、参照完整性和⽤户定义的完整性

3)  物理模型

考虑各种具体的技术实现因素,进⾏数据库体系结构设计,真正实现数据在数据库中的存放。物理数据模型的内容包括确定所有的表和列, 定义外键⽤于确定表之间的关系,基于性能的需求可能进⾏反规范化处理等内容

物理数据模型的⽬标是如何⽤数据库模式来实现逻辑数据模型,以及真正地保存数据。物理模型的基本元素包括表、字 段、视图、索引、存储过程、触发器等,其中表、字段和视图等元素与逻辑模型中基本元素有⼀定的对应关系。

数据建模过程包括数据需求分析、概念模型设计、逻辑模型设计和物理模型设计

(1)数据需求分析

分析⽤户对数据的需要和要求。

(2) 概念模型设计

将需求分析得到结果抽象为概念模型的过程就是概念模型设计,其任务是确定实体和数据及其关联。

(3)逻辑模型设计

将概念模型中实体、属性和关联转换为关系模型结构中的关系模式。

(4)物理模型设计

将数据模型转换为真正的数据库结构,还需要针对具体的 DBMS 进⾏物理模型设计,使数据模型⾛向数据存储应⽤环节

数据标准化是实现数据共享的基础。

数据标准化主要为复杂的信息表达、分类和定位建⽴ 相应的原则和规范,使其简单化、结构化和标准化,从⽽实现信息的可理解、可⽐较和可共享, 为信息在异构系统之间实现语义互操作提供基础⽀撑。

数据标准化的主要内容包括元数据标准化、数据元标准化、数据模式标准化、数据分类与编码标准化和数据标准化管理

元数据最简单的定义是:元数据是关于数据的数据(Data About Data)。

提供关于信息资源或数据的⼀种结构化数据,是对信息资源的结构化描述。实质是⽤于描述信息资源或数据的内容、覆盖范围、质量、管理⽅式、数据的所有者、数据的提供⽅式等有关的信息。

1)信息对象

2)元数据体系

OSIE 四个基本要素(硬件、软件、通信和数据)中的三个要素(硬件、软件和通信)

1)数据元

数据元是数据库、⽂件和数据交换的基本数据单元。数据库或⽂件由记录或元组等组成, ⽽记录或元组则由数据元组成

数据元⼀般来说由三部分组成:①对象、②特性、③表示

2)数据元提取

⽬前常⽤的数据元提取⽅法有两种:⾃上⽽下(Top-Down)提取法和⾃下⽽上(Down-Top)提取法

对于新建系统的数据元提取,⼀般适⽤“⾃上⽽下”的提取法

3)数据元标准

数据模式是数据的概念、组成、结构和相互关系的总称。

在数据共享过程中,这种差异对⼈们进⾏信息的共享与交换形成了障碍。为了保证能够顺畅进⾏信息的共享,对特定领域⽽⾔,需要⼀个统⼀的数据模式作为数据共享与交换的基础。同时也保证该领域的相关⼈员对统⼀的数据模型有准确的、⽆岐义的理解。

数据模式的描述⽅式主要有图描述⽅法和数据字典⽅法。

图描述⽅法常⽤的有 IDEFIX ⽅法和 UML 图。⽤来描述数据集中的实体和实体之间的相互关系;

数据字典形式⽤来描述模型中的数据集、单个实体、属性的摘要信息。

数据分类与编码标准化: 把数据分类与编码⼯作纳⼊标准化⼯作的领域,按标准化的要求和⼯作程序,将各种数据按照科学的原则进⾏分类以编码,经有关⽅⾯协商⼀致,由主管机构批准、注册,以标准的形式发布,作为共同遵守的准则和依据,并在其相应的级别范围内宣贯和推行

数据分类与编码标准化是简化信息交换、实现信息处理和信息资源共享的重要前提,是建⽴各种信息管理系统的重要技术基础和信息保障依据。可以最⼤限度地消除对信息命名、描述、分类和编码的不⼀致造成的混乱、误解等现象,可以减少信息的重复采集、加⼯、存储等操作,使事物的名称和代码的含义统⼀化、规范化,确⽴代码与事物或概念之间的⼀⼀对应关系,以保证数据的准确性和相容性,为信息集成与资源共享提供良好的基础。

数据标准化阶段的具体过程包括确定数据需求、制定数据标准、批准数据标准和实施数据标准

1)确定数据需求。将产⽣数据需求及相关的元数据、域值等⽂件。

2)制定数据标准。处理“确定数据需求”阶段提出的数据需求。如果现有的数据标准不能满⾜该数据需求,可以建议制定新的数据标准,也可建议修改或者封存⼰有数据标准。

3)批准数据标准。数据管理机构对提交的数据标准建议、现⾏数据标准的修改或封存建议进⾏审查。⼀经批准,该数据标准将扩充或修改数据模型。

4)实施数据标准。涉及在各信息系统中实施和改进⼰批准的数据标准。

数据存储就是根据不同的应⽤环境,通过采取合理、安全、有效的⽅式将数据保存到物理介质上,并能保证对数据实施有效的访问

1)数据存储介质。存储介质是数据存储的载体,是数据存储的基础。不是越贵越好、越先进越好,磁带、光盘和磁盘三种。

2)存储管理。如何提⾼存储系统的访问性能,如何满⾜数据量不断增长的需要,如何有效的保护数据、提⾼数据的可⽤性,如何满⾜存储空间的共享

数据备份是为了防⽌由于⽤户操作失误、系统故障等意外原因导致的数据丢失,⽽将整个应⽤系统的数据或⼀部分关键数据复制到其他存储介质上的过程。这样做的⽬的是保证当应⽤系统的数据不可⽤时,可以利⽤备份的数据进⾏恢复,尽量减少损失。

当前最常见的数据备份结构可以分为四种:DAS备份结构、基于 LAN 的备份结构、LANFREE 备份结构和 SERVER-FREE 备份结构

常⻅的备份策略主要有三种:完全备份、差分备份和增量备份

根据容灾系统保护对象的不同,容灾系统分为应⽤容灾和数据容灾两类

应⽤容灾⽤于克服灾难对系统的影响,保证应⽤服务的完整、可靠和安全等⼀系列要求,使得⽤户在任何情况下都能得到正常的服务;

数据容灾则关注于保证⽤户数据的⾼可⽤性,在灾难发⽣时能够保证应⽤系统中的数据尽量少丢失或不丢失,使得应⽤系统能不间断地运⾏或尽快地恢复正常运⾏

数据容灾是应⽤容灾的⼀个⼦集,也是应⽤容灾最根本的基础

数据备份是数据容灾的基础。数据备份是数据⾼可⽤的最后⼀道防线,其⽬的是为了在系统数据崩溃时能够快速恢复数据

衡量容灾系统有两个主要指标:RPO (Recovery Point Object)和 RTO (Recovery Time Object)

RPO 代表了当灾难发⽣时允许丢失的数据量; RTO 则代表了系统恢复的时间

1)数据质量描述

数据质量可以通过数据质量元素来描述,数据质量元素分为 数据质量定量元素和数据质量⾮定量元素。

2)数据质量评价过程

3)数据质量评价⽅法

数据质量评价⽅法分为 直接评价法和间接评价法:

直接评价法:通过将数据与内部或外部的参照信息,如理论值等进⾏对⽐。确定数据质量。

间接评价法:利⽤数据相关信息,如数据只对数据源、采集⽅法等的描述推断或评估数据质量。

4)数据质量控制

数据产品的质量控制分成前期控制和后期控制

前期控制包括数据录⼊前的质量控制、数据录⼊过程中的实时质量控制;
后期控制为数据录⼊完成后的后处理质量控制与评价。

5)数据清理

数据清理主要包括数据分析、数据检测和数据修正

数据清理的三个步骤:

数据分析:是指从数据中发现控制数据的⼀般规则,⽐如字段域、业务规则等,通过对数据的分析,定义出数据清理的规则,并选择合适的清理算法。

数据检测:是指根据预定义的清理规则及相关数据清理算法,检测数据是否正确,⽐如是否满⾜字段域、业务规则等,或检测记录是否重复。

数据修正:是指⼿⼯或⾃动地修正检测到的错误数据或重复的记录。

数据集成就是将驻留在不同数据源中的数据进⾏整合,向⽤户提供统⼀的数据视图(⼀般称为全局模式),使得⽤户能以透明的⽅式访问数据

数据集成的⽬标就是充分利⽤⼰有数据,在尽量保持其⾃治性的前提下,维护数据源整体上的⼀致性,提⾼数据共享利⽤效率。实现数据集成的系统称为数据集成系统,它为⽤户提供了统⼀的数据源访问接口,⽤于执⾏⽤户对数据源的访问请求。

数据挖掘是指从⼤量数据中提取或“挖掘”知识,即从⼤量的、不完全的、有噪声的、模糊的、随机的实际数据中,提取隐含在其中的、⼈们不知道的、却是潜在有⽤的知识

数据挖掘的⽬标是发现隐藏于数据之后的规律或数据间的关系,从⽽服务于决策。数据挖掘的主要任务包括数据总结、关联分析、分类和预测、聚类分析和孤⽴点分析。数据挖掘流程包括确定分析对象、数据准备、数据挖掘、结果评估与结果应⽤

数据服务主要包括数据⽬录服务、数据查询与浏览及下载服务、数据分发服务

1)数据⽬录服务。

对于需要共享数据的⽤户来说,往往存在不知道有哪些数据、不知道想要的数据在哪⾥、不知道如何获取想要的数据等困难。数据⽬录服务就是要解决这些问题,是⽤来快捷地发现和定位所需数据资源的⼀种检索服务,是实现数据共享的重要基础功能服务之⼀。

(2)数据查询与浏览及下载服务。

⽹上数据共享服务的重要⽅式, ⽤户使⽤数据的⽅式有查询数据和下载数据两种。

(3)数据分发服务。

数据的⽣产者通过各种⽅式将数据传送到⽤户的过程。

可视化技术是指将抽象的事物或过程变成图形图像的表⽰⽅法。科学计算可视化(Visualization in Scientific Computing) 的基本含义是运⽤图形学的原理和⽅法,将科学与⼯程计算等产⽣的⼤规模数据转换为图形、图像,以直观的形式表⽰出来。

可视化的表现⽅式也多种多样,主要可分为七类:

⼀维数据可视化、⼆维数据可视化、三维数据可视化、多维数据可视化、时态数据可视化、层次数据可视化和⽹络数据可视化

信息检索的主要⽅法如下:

(1)全⽂检索。

(2)字段检索。

(3)基于内容的多媒体检索。

(4)数据挖掘。信息检索的常⽤技术包括布尔逻辑检索技术、截词检索技术、临近检索技术、限定字段检索技术、限制检索技术

数据库安全机制是⽤于实现数据库的各种安全策略的功能集合,正是由这些安全机制来实现安全模型,进⽽实现保护数据库系统安全的⽬标。数据库安全机制包括⽤户的身份认证、存取控制、数据库加密、数据审计、推理控制。

系统集成的⼯作:

通过硬件平台、⽹络通信平台、数据库平台、⼯具平台、应⽤软件平台将各类资源有机、⾼效地集成到⼀起,形成⼀个完整的⼯作台⾯。系统集成⼯作的好坏对系统开发、维护有极⼤的影响。

在技术上需要遵循的基本原则包括:开放性、结构化、先进性和主流化

1)开放性

系统硬软件平台、通信接口、软件开发⼯具、⽹络结构的选择要遵循⼯业开放标准,这是关系到系统⽣命周期长短的重要问题。

(2)结构化。

复杂系统设计的最基本⽅法依然是结构化系统分析设计⽅法。

(3)先进性。

⽬前先进性和未来先进性。

(4)主流化。

系统构成的每⼀个产品应属于该产品发展的主流,有可靠的技术⽀持,有成熟的使⽤环境,并具有良好的升级发展势头。

1)传输⼦系统。

⽬前主要的传输介质分为⽆线传输介质和有线传输介质两⼤类。常⽤的⽆线传输介质主要包括⽆线电波、微波、红外线等,常⽤的有线传输介质主要包括双绞线、同轴电缆、光纤等。

2)交换⼦系统。

⽹络按所覆盖的区域可分为局域⽹、城域⽹和⼴域⽹,由此⽹络交换也可以分为局域⽹交换技术、城域⽹交换技术和⼴域⽹交换技术

3)安全⼦系统。

使⽤防⽕墙技术,防⽌外部的侵犯;使⽤数据加密技术,防⽌任何⼈从通信信道窃取信息;访问控制,主要是通过设置口令、密码和访问权限保护⽹络资源。

4)⽹管⼦系统。

关键的任务便是保证⽹络的良好运⾏。由于⽹络规模的扩⼤,通常会出现⽹络“瓶颈”问题,使系统的速度变慢。⽹管的职责便是找出瓶颈并解决它。

5)服务器⼦系统。

① CPU 的速度和数量;

②内存容量和性能;

③总线结构和类型;

④磁盘容量和性能;

⑤容错性能;

⑥⽹络接⼜性能;

⑦服务器软件

(6)⽹络操作系统。

⽹络服务器、⼯作站、打印机、⽹桥、路由器、交换机、⽹关、共享软件和应⽤软件

(7)服务⼦系统。

互联⽹服务、多媒体信息检索、信息点播、 信息⼴播、远程计算和事务处理以及其他信息服务

数据集成的⽬的是运⽤⼀定的技术⼿段将系统中的数据按⼀定的规则组织成为⼀个整体, 使得⽤户能有效地对数据进⾏操作。数据集成处理的主要对象是系统中各种异构数据库中的数据。数据仓库技术是数据集成的关键

数据集成是将参与数据库的有关信息在逻辑上集成为⼀个属于异构分布式数据库的全局概念模式,以达到信息共享的⽬的数据集成可以分为基本数据集成、多级视图集成、模式集成和多粒度数据集成四个层次。

(1)基本数据集成。 通⽤标识符问题

隔离:保证实体的每次出现都指派⼀个唯⼀标识符。

调和:确认哪些实体是相同的,并且将该实体的各次出现合并起来。

(2)多级视图集成。

有助于对数据源之间的关系进⾏集成:底层数据表⽰⽅式为局部模型的局部格式,如关系和⽂件;中间数据表⽰为公共模式格式,如扩展关系模型或对象模型;⾼级数据表⽰为综合模型格式。视图的集成化过程为两级映射:①数据从局部数据库中,经过数据翻译、转换并集成为符合公共模型格式的中间视图;②进⾏语义沖突消除、数据集成和数据导出处理,将中间视图集成为综合视图。

(3)模式集成。

模式集成时出现的命名、单位、结构和抽象层次等冲突问题

(4)多粒度数据集成。

数据综合(或数据抽象)指由⾼精度数据经过抽象形成精度较低但是粒度较⼤的数据。其作⽤过程为从多个较⾼精度的局部数据中,获得较低精度的全局数据。在这个过程中,要对各局域中的数据进⾏综合,提取其主要特征。数据综合集成的过程实际上是特征提取和归并的过程。数据细化指通过由⼀定精度的数据获取精度较⾼的数据,实现该过程的主要途径有:时空转换,相关分析或者由综合中数据变动的记录进⾏恢复数据集成是最终实现数据共享和辅助决策的基础

数据集成的⽬的是为应⽤提供统⼀的访问⽀持,因此集成后的数据必须保证⼀定的完整性, 包括数据完整性和约束完整性

1)异构数据集成的⽅法

过程式⽅法和声明式⽅法

利⽤中间件集成异构数据库

2)开放数据库互联标准

从异构数据库中提取数据⼤多采⽤开放式数据库互联

3)基于XML的数据交换标准

来统⼀异构数据源的数据模式

4)基于 JSON 的数据交换格式

XML 格式来进⾏数据交换的。JSON (JavaSeript Object Notation)作为⼀种轻量级的数据交换格式,以其易于阅读和编写的优点,被越来越多地应⽤到各个项⽬中。

软件构件标准:公共对象请求代理结构(Common Object Request Broker Architecture, CORBA)、 COM、 DCOM 与 COM+、.NET、J2EE

OMG 的⽬的则是为了将对象和分布式系统技术集成为⼀ 个可相互操作的统⼀结构,此结构既⽀持现有的平台也将⽀持未来的平台集成

所以COM 中的对象都不再是由特定的编程语⾔及其程序设计环境所⽀持的对象,⽽是由系统平台直接⽀持的对象。COM 对象可能由各种编程语⾔实现,并为各种编程语⾔所引⽤。

COM 技术要达到的基本⽬标是:即使对象是由不同的开发⼈员⽤不同的编程语⾔实现的, 在开发软件系统时,仍能够有效地利⽤⼰经存在于其他已有软件系统中的对象:同时,也要使当前所开发的对象便于今后开发其他软件系统时进⾏重⽤。

DCOM 作为 COM 的扩展,不仅继承了 COM 优点,⽽且针对分布环境还提供了⼀些新的特性,如位置透明性、⽹络安全性、跨平台调⽤等。

COM+ 为 COM 的新发展或 COM 更⾼层次上的应⽤,其底层结构仍然以 COM 为基础,⼏乎包容了 COM 的所有内容。COM+ 倡导了⼀种新的概念,它把 COM 组件软件提升到应⽤层⽽不再是底层的软件结构,通过操作系统的各种⽀持,使组件对象模型建⽴在应⽤层上,把所有组件的底层细节留给操作系统。因此,COM+ 与操作系统的结合更加紧密。

.NET 开发框架在通⽤语⾔运⾏ 环境基础上,给开发⼈员提供了完善的基础类库、数据 库访问技术及⽹络开发技术,开发者可以使⽤多种语⾔ 快速构建⽹络应⽤

J2EE 为搭建具有可伸缩性、灵活性、易维护性的组织系统提供了良好的机制。J2EE 的体系结构可以分为客户端层、服务器端组件层、EJB层和信息系统层。

从信息系统集成技术的⾓度看,在集成的堆栈上,应⽤集成在最上层,主要解决应⽤的互操作性的问题

应⽤集成或组织应⽤集成(EAI) 是指将独⽴的软件应⽤连接起来,实现协同⼯作。借助应⽤集成,组织可以提⾼运营效率,实现⼯作流⾃动化,并增强不同部门和团队之间的协作。

对应⽤集成的技术要求⼤致有

具有应⽤间的互操作性:应⽤的互操作性提供不同系统间信息的有意义交换,即信息的语⽤交换,⽽不仅限于语法交换和语义交换。此外,它还提供系统间功能服务的使⽤功能,特别是资源的动态发现和动态类型检查。

具有分布式环境中应⽤的可移植性:提供应⽤程序在系统中迁移的潜⼒并且不破坏应⽤ 所提供的或正在使⽤的服务。这种迁移包括静态的系统重构或重新安装以及动态的系统重构。

具有系统中应⽤分布的透明性:分布的透明性屏蔽了由系统的分布所带来的复杂性。它使应⽤编程者不必关⼼系统是分布的还是集中的,从⽽可以集中精⼒设计具体的应⽤系统,这就⼤⼤减少了应⽤集成编程的复杂性。

可以帮助协调连接各种应⽤的组件有:

应⽤编程接口(API):API是定义不同软件交互⽅式的程序和规则,可以⽀持应⽤之间相互通信。API利⽤特定的数据结构,帮助开发⼈员快速访问其他应⽤的功能。

事件驱动型操作:当触发器(即事件)启动⼀个程序或⼀组操作时,系统就会执⾏事件驱动型操作。例如:在订单提交后,进⾏计费并向客户开具发票;管理从ERP系统到CRM系统的“业务机会到订单”⼯作流。

数据映射:将数据从⼀个系统映射到另⼀个系统,可以定义数据的交换⽅式,从⽽简化后续的数据导出、分组或分析⼯作。例如,⽤户在⼀个应⽤中填写联系信息表,那么这些信息将被映射到相邻应⽤的相应字段。

信息安全系统⼯程就是要建造⼀个信息安全系统,它是整个信息系统⼯程的⼀部分,⽽且最好是与业务应⽤信息系统⼯程同步进⾏,主要围绕“信息安全”内容

1)X轴是“安全机制”。提供某些安全服务,利⽤各种安全技术和技巧,所形成的⼀个较为完善的结构体系

2)Y轴是“OSI⽹络参考模型”。信息安全系统的许多技术、技巧都是在⽹络的各个层⾯上实施的,离开⽹络信息系统的安全也就失去意义。

3)Z轴是“安全服务’。⽹络中的各个层次提供给信息应⽤系统所需要的安全服务⽀持。如对等实体认证服务、访问控制服务、数据保密服务

X、Y、Z三个轴形成的信息安全系统三维空间,安全空间。认证、权限、完 整、加密和不可否认五⼤要素,也叫作“安全空间”的五⼤属性。

安全机制包含基础设施实体安全、平台安全、数据安全、通信安全、应⽤安全、运⾏安全、 管理安全、授权和审计安全、安全防范体系

安全服务包括对等实体认证服务、数据保密服务、数据完整性服务、数据源点认证服务、禁⽌否认服务和犯罪证据提供服务

(1)对等实体认证服务。

⽤于两个开放系统同等层中的实体建⽴链接或数据传输时,对对⽅实体的合法性、真实性进⾏确认,以防假冒。

(2)数据保密服务。

为了防⽌⽹络中各系统之间的数据 被截获或被⾮法存取⽽泄密,提供密码加密保护。数据保密服务可提供链接⽅式和⽆链接⽅式 两种数据保密,同时也可对⽤户可选字段的数据进⾏保护。

(3)数据完整性服务。

⽤以防⽌⾮法实体对交换数据的修改、插⼊、删除 以及在数据交换过程中的数据丢失。

(4)数据源点认证服务。

⽤于确保数据发⾃真正的源点,防⽌假冒。

5)禁⽌否认服务。

⽤以防⽌发送⽅在发送数据后否认⾃⼰发送过此数据, 接收⽅在收到数据后否认⾃⼰收到过此数据或伪造接收数据,由两种服务组成:不得否认发送和不得否认接收。

(6)犯罪证据提供服务。

为违反国内外法律法规的⾏为或活动,提供各类数字证据、信息线索等。

安全技术主要涉及加密、数字签名技术、防控控制、数据完整性、认证、数据挖掘

信息安全系统的建设硬件⼯程、软件⼯程、通信及⽹络⼯程、数据存储与灾备⼯程、系统⼯程、测试⼯程、密码⼯程和组织信息化⼯程

信息安全系统建设是遵从组织所制定的安全策略进⾏的。⽽安全策略由组织和组织的客户 和服务对象、集成商、安全产品开发者、密码研制单位、独⽴评估者和其他相关组织共同协商 建⽴。因此信息安全系统⼯程活动必须要与其他外部实体进⾏协调。

信息安全系统⼯程应该吸纳安全管理的成熟规范部分,包括物理安全、计算机安全、⽹络安全、通信安全、输⼊/输出产品的安全、操作系统安全、数据库系统安全、数据安全、信息审计安全、⼈员安全、管理安全和辐射安全等

信息安全系统⼯程能⼒成熟度模型(ISSE Capability Maturity Model,ISSE-CMM) 是⼀种衡量信息安全系统⼯程实施能⼒的⽅法,是使⽤⾯向⼯程过程的⼀种⽅法

ISSE-CMM主要适⽤于⼯程组织 (Engineering Organizations)、获取组织(Acquiring Organizations) 和评估组织(Evaluation Organizations)

⼯程组织包含系统集成商、应⽤开发商、产品提供商和服务提供商

获取组织包含采购系统、产品以及从外部 /内部资源和最终⽤户处获取服务的组织

评估组织包含认证组织、系统授权组织、系统和产品评估组织

ISSE 并不是⼀个独⽴的过程,它依赖并⽀持系统⼯程和获取(保证)过程,⽽且是后者不可分割的⼀部分。

SSE 将信息安全系统⼯程实施过程分解为:⼯程过程(Engineering Process)、风险过程(Risk Process)和保证过程(Assurance Process)

​​​​​​​

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值