软考【信息系统项目管理师】考试备考 知识点

软考【信息系统项目管理师】考试备考 知识点

该文章用于记录备考期间每日的学习记录,包含知识点、错题整理等,会持续整理~

1月7日

指派问题

指派问题一般用匈牙利算法进行求解:

算法本质
变换系数矩阵,找到n个不同行不同列的0元素,以求解指派问题最优解

步骤一:系数矩阵初等行列变换,使各行各列都出现0元素

1、每行减去该行最小元素,使得每行都出现0元素
2、每列减去该列最小元素,使得每列都出现0元素

步骤二:试指派,寻找最优解
香农息熵公式

在这里插入图片描述

1月8日

1.计算SPI、CPI、SV、CV
公式
进度绩效指数  SPI=EV/PV	  结论:SPI=1,进度与计划相符,SPI>1,进度超前,SPI<1,进度落后
成本绩效指数  CPI=EV/AC	  结论:CPI=1,资金使用效率一般;CPI>1成本节约,资金使用效率高;CPI<1,成本超支,资金使用效率低
进度偏差		SV=EV-PV     结论:SV>0,进度超前,SV<0,进度落后
成本偏差		CV=EV-AC     结论:CV>0,成本节约,CV<0,成本超支

成本差异比例 % = CV/EV = (EV-AC)/EV = 1 - 1/CPI
进度差异比例 % = SV/PV = (EV-PV)/PV= SPI - 1

完工估算		EAC = BAC + AC–EV= BAC- CV	(当前出现的偏差被视为非典型特例,而且项目团队预计将来不至于出现类似偏差时。)
完工估算		EAC = BAC / CPI	(当项目完成15%~20%时,CPI相对稳定,可以用来估算EAC)
完工估算		EAC = ETC + AC	(以往绩效表明原有估算假设有重大缺陷,或者由于情况改变,原有假设不再适用时。)

任务完成指数	PC = EV/BAC

完工绩效指数TCPI	基于BAC的公式 : TCPI = (BAC-EV) / (BAC-AC)
完工绩效指数TCPI	基于EAC的公式:TCPI = (BAC-EV) / (EAC-AC)
概念理解
PV:计划值,在即定时间点前计划完成活动或WBS组件工作的预算成本。记忆技巧:PLaned,计划,Value,数值,简写是PV。

AC:实际成本,在即定时间段内实比分完成工作发生的实际总成本。记忆技巧:Actual,实际的,cost,成本,简写是AC。

EV:挣值,在即定时间段内实际完工工作的预算成本。记忆技巧:Earn,挣,Value,数值,简写的EV。

以S开头的缩写,都是表示进度的,schedule。以C开头的缩写,都是表示成本的,cost。

BAC:全部工作的预算是多少 (按照原计划,完成所有工作所需的预算成本)

EAC:完工估算 (全部工作的成本是多少?)它是根据项目的绩效和风险量化对项目最可能的总成本所做的一种预测。(根据截止目前的工作效率和工作方法,如果不采取任何措施,到完工时,需要花费的成本预算)

ETC:完工尚需估算 剩余工作在当前的估算是多少?(截止目前,剩余工作到完工时,需要花费的成本预算)

这样以上的公式就不难理解了。
2.甘特图
甘特图概述
甘特图是一种项目管理工具,用于说明一段时间内完成的工作与工作计划时间的关系。

通常包括两个部分:左侧概述任务列表,右侧则提供一个时间线(上面用时间表栏可视化呈现工作)。

甘特图还可以包括任务的开始和结束日期、里程碑、任务间依赖关系以及经办人等等。

例如:在这里插入图片描述
(图片来源:https://www.zhihu.com/question/407225342

相比于甘特图,网络图是显示项目任务顺序工作流的流程图。
拓展 网络图简介
项目网络图指由箭线和节点组成的,用来表示工作流程的有向、有序网状图形,是工程管理和项目管理中对工作范围和进度管理的常用工具。

双代号网络图(activity-on-arrow network diagram,简称AOA)是以箭线或其两端节点的编号表示工作的网络图。

双代号网络图

单代号网络图(activity-on-note network diagram,简称AON)也称紧前关系绘图法(precedence diagramming method,简称PDM),以节点或该节点编号表示工作的网络图。

单代号网络图

3.控制质量的工具技术(项目质量管理考点)
  1. 数据收集(核对单、核查表、统计抽样、问卷调查)
  2. 数据分析(绩效审查、根本原因分析)
  3. 检查
  4. 测试/产品评估
  5. 数据表现(因果图、控制图、直方图、散点图)
  6. 会议
4.指导与管理项目工作的输出
  1. 可交付成果
  2. 工作绩效数据
  3. 问题日志
  4. 变更请求
  5. 项目管理计划更新
  6. 项目文件更新(活动清单、假设日志、经验教训登记册、需求文件、风险登记册、干洗人登记册)
  7. 组织过程资产更新
5.不可预测的风险(项目风险管理考点)
不可预测风险是指有可能发生,但其发生的可能性即使最有经验的人亦不能预见的风险。

不可预测的风险有时也称为位置风险,或未识别的风险。它们是新的、以前为观察到或很晚才显现出来的风险。这些因素一般是外部因素作用的结果,例如地震、百年不遇的暴雨、通货膨胀和政策变化等。
6.项目时间管理过程(按顺序)
  1. 活动定义(activity definition)
  2. 活动排序 (activity sequencing)
  3. 活动的资源估算 (activity resource estimating)
  4. 活动历史估算 (activity duration estimating)
  5. 制定进度计划 (schedule development)
  6. 进度控制 (schedule control)

1月9日

1.国家标准全文公开系统

https://openstd.samr.gov.cn/bzgk/gb/index

2.项目成本管理
概念

确保在批准的预算内完成项目。在项目实施过程中,通过项目成本管理尽量使项目实际发生的成本控制在预算范围之内。

成本管理的过程(4个)
  1. 规划成本管理
    为规划、管理、花费和控制项目成本而指定程序、政策和文档的过程。ITTO如下:
    ITTO 指的是项目管理中的输入、工具和技术、输出(Inputs, Tools and Techniques, Outputs)。
  • 输入
    项目管理计划(范围基准、进度基准)和项目章程(项目总体预算),组织过程资产和事业环境因素

  • 工具/技术(成本分析技术)
    专家判断、会议、分析技术(回收期、投资回报率、净现值、内部报酬率、现金流贴现)

  • 输出
    项目成本管理计划
    项目成本管理计划是项目管理计划的组成部分,其作用是指明如何规划、安排和控制项目成本。

  1. 估算成本
    估算成本是对完成项目活动所需资金进行近似估算的过程。
  • 输入
    成本管理计划、人力资源管理计划、进度计划、范围基准、风险登记册、事业环境因素和组织过程资产。
  • 工具/技术
    3点估算、类比估算、参数估算、自上而下估算、储备分析、质量成本、项目管理软件、群体决策技术、卖方投标分析等。
  • 输出
    活动成本估算、估算依据、项目文件更新(风险登记册)
  1. 制定预算
    制定预算是汇总所有单个项目和工作包的估算成本,建立一个经批准的成本基准的过程。确定成本基准,监督和控制项目绩效,同时考虑质量目标和进度目标切实可行,具有一定的弹性。
  • 输入
    成本管理计划、估算依据、活动成本估算、项目进度计划和范围基准、协议、风险登记册、资源日历、组织过程资产
  • 工具/技术(成本管理技术)
    资金限制平衡、储备分析、成本汇总、专家判断
  • 输出
    成本基准、项目资金需求(总资金需求和阶段性资金需求)、项目文件更新(风险登记册、活动成本估算、项目进度计划)
  1. 控制成本
    控制成本是监督项目预算以更新项目预算,管理成本基准变更的过程。其作用是,发现实际与计划的差异,采取措施,降低风险。
  • 输入
    工作绩效数据、项目管理计划、资金需求状况、组织过程资产
  • 工具/技术
    挣值管理、完工尚需绩效指数、预测技术、储备分析、绩效审查
  • 输出
    工作绩效信息、变更请求、成本预测、项目管理计划更新、项目文件更新、组织过程资产更新
  1. *成本基准
    用于对项目进行成本的测量、监督和控制的阶段性预算;它由各阶段累加的项目成本以及可用于跟踪实际绩效、计划绩效以及资金支出情况的累积费用曲线组成。

  2. *成本分析技术
    成本分析技术包括技术分析(回收期、投资回报率、内部报酬率、现金流贴现、净现值)、专家判断、会议、3点估算、类比估算、参数估算、自上而下估算、储备分析、质量成本(COQ),在估算活动成本时,可能要用到质量成本的各种假设项目管理软件、群体决策技术、卖方投标分析。

  3. *成本管理技术
    挣值管理(evm)、完工尚需绩效指数 TCPI = (BAC - EV)/(BAC - AC)、预测技术、储备分析、绩效审查、资金限制平衡、储备分析、成本汇总、专家判断

1月10日

1.应急储备和管理储备
应急储备

应急储备是为应对项目的已知风险所做的成本预算,归项目所支配,受项目经理管理。
应急储备是为未规划但可能发生的变更提供的补贴,这些变更由风险登记册中所列的已知风险引起。

关于应急储备,归纳如下几点是必须要理解的:

  1. 应急储备由P M负责管理。
  2. PM可支配应急储备。
  3. 应急储备是为将来应对的“已知的未知风险”做准备的储备。
  4. 应急储备是是成本绩效基准的一部分,同时也属于项目预算。
  5. 若无估算依据,应急储备可按总成本的一定比例(例如10%)计算,比例可以根据情况确定。
管理储备

管理储备是为应对项目的未知风险所做的成本储备,归企业管理层支配和管理。
管理储备是为未规划的范围变更与成本变更而预留的预算。

关于管理储备储备归纳,如下几点是必须要理解的:

  1. 管理储备是为预先考虑的那些“未知的未知风险”做准备的储备。
  2. 管理储备由发起人或管理层负责管理。
  3. PM使用管理储备,需要向发起人或管理层申请。
  4. 管理储备是项目预算的一部分。
  5. 管理储备不是成本基准的一部分。
  6. 管理储备不纳入挣值计算。
  7. 管理储备在项目的结束点反映。
  8. 管理储备的多少取决于管理层对风险的判断,若无估算依据,管理储备可按总成本的一定比例(例如10%)计算,比例可以根据情况确定。
2.招投标法律法规

在这里插入图片描述

1月11日

1.常用的几个图概念简述
因果图

因果图由日本管理大师石川馨发明,可以叫石川图,又因为它的形状像鱼骨,又可叫鱼骨图,它能够把影响质量的各个因素及其之间的关系通过树状图的形式呈现出来,让人一看便清晰问题所在,能够在短时间内采取相应的措施解决问题。总的来说,它就是一种发生问题之后,寻找问题根源的方法。
因果图运用最广泛的是休哈特控制图
因果图一般用在质量出现问题后,从各个方面对问题起源、根源进行分析,提出解决方案,降低后续同样问题发生的概率。
图片示例:
在这里插入图片描述

控制图

控制图也称“质量管理图”、“质量评估图”,是根据假设检验原理构造的一种图,用于监测生产过程是否处于控制状态。它是统计质量管理的一种重要手段和工具。
图片示例:
在这里插入图片描述

直方图

直方图又称"质量分布图", 是一种统计报告图, 由一系列高度不等的纵向条纹或线段表示数据分布的情况。一般用横轴表示数据类型, 纵轴表示分布情况. 直方图是数值数据分布的精确图形表示, 这是一个连续变量(定量变量)的概率分布的估计, 并且被卡尔·皮尔逊(Karl Pearson)首先引入。它是一种条形图,为了构建直方图, 第一步是将值的范围分段, 即将整个值的范围分成一系列间隔, 然后计算每个间隔中有多少值.。这些值通常被指定为连续的, 不重叠的变量间隔. 间隔必须相邻, 并且通常是(但不是必须的)相等的大小。
特征:二维图表, 横轴为数据(具有一定的连续性), 纵轴为数据分布(数据数量)
图片示例:
在这里插入图片描述

散点图

散点图显示两个连续型变量之间的关系。
散点图用于显示关系。对于相关性,散点图有助于显示两个变量之间线性关系的强度。对于回归,散点图常常会添加拟合线。在质量控制中,散点图常常可以包含规格线或参考线。
图片示例:
在这里插入图片描述

2.信息系统抽象模型

在这里插入图片描述

管理模型是指系统服务对象领域的专门知识,以及分析和处理该领域问题的模型,又称为对象的处理模型;信息处理模型指系统处理信息的结构和方法。
管理模型中的理论和分析方法在信息处理模型中转化为信息获取、存储、传输、加工和使用的规则;
系统实现条件指可供应用的计算机技术和通信技术、从事对象领域工作的人员,以及对这些资源的控制与融合。
信息系统的组成部件包括硬件、软件、数据库、网络、存储设备、感知设备、外设、人员以及把数据处理成信息的规程等。
从用途类型来划分,信息系统一般包括电子商务系统、事务处理系统、管理信息系统、生产制造系统、电子政务系统、决策支持系统等。

软件的生命周期通常包括:可行性分析与项目开发计划、需求分析、概要设计、详细设计,编码、测试、维护等阶段。可以简化为:系统规划(可行性分析与项目开发计划),系统分析(需求分析),系统设计(概要设计、详细设计),系统实施(编码、测试),系统运行和维护等阶段。
信息系统生命周期示意图:
在这里插入图片描述

3.信息化体系
  • 信息化核心
    信息化的核心是要通过全体社会成员的共同努力,在经济和社会各个领域充分应用基于信息技术的先进社会生产工具(表现为各种信息系统或软硬件产品),提高信息时代的社会生产力,并推动生产关系和上层建筑的改革(表现为法律、法规、制度、规范、标准、组织结构等),使国家的综合实力、社会的文明程度和人民的生活质量全面提升。

  • 信息化内涵
    信息化内涵主要包括:
    信息网络体系:包括信息资源、各种信息系统、公用通信网络平台等。
    信息产业基础:包括信息科学技术研究与开发、信息装备制造、信息咨询服务等。
    社会运行环境:包括现代工农业、管理体制、政策法律、规章制度、文化教育、道德观念等生产关系与上层建筑。
    效用积累过程:包括劳动者素质、国家现代化水平和人民生活质量的不断提高,精神文明和物质文明建设不断进步等。

  • 国家信息化体系
    国家信息化体系包括信息技术应用、信息资源、信息网络、信息技术和产业、信息化人才、信息化政策法规和标准规范6个要素,这6个要素的关系构成了一个有机的整体。

  • 组织信息化趋势:
    产品信息化包含两层含义:
    ①产品中各类信息比重日益增大、物质比重日益降低,其物质产品的特征向信息产品的特征迈进;
    ②越来越多的产品中嵌入了智能化元器件,使产品具有越来越强的信息处理功能。
    产业信息化指农业、工业、服务业等传统产业广泛利用信息技术,大力开发和利用信息资源,建立各种类型的产业互联网平台和网络,实现产业内各种资源、要素的优化与重组,从而实现产业的升级。
    社会生活信息化指包括市场、科技、教育、军事、政务、日常生活等在内的整个社会体系采用先进的信息技术,建立各种互联网平台和网络,大力拓展人们日常生活的信息内容,丰富人们的精神生活,拓展人们的活动时空等。国民经济信息化指在经济大系统内实现统一的信息大流动,使金融、贸易、投资、计划、营销等组成一个信息大系统,生产、流通、分配、消费等经济的四个环节通过信息进一步连成一个整体。
    国民经济信息化是世界各国急需实现的目标。

  • 国家信息化趋势
    “十四五”国家信息化规划》明确了:建设泛在智联的数字基础设施体系,建立高效利用的数据要素资源体系,构建释放数字生产力的创新发展体系,培育先进安全的数字产业体系构建产业数字化转型发展体系,构筑共建共治共享的数字社会治理体系,打造协同高效的数字政府服务体系,构建普惠便捷的数字民生保障体系,拓展互利共赢的数字领域国际合作体系和建立健全规范有序的数字化发展治理体系等重大任务。

4.新型基础设施
  1. 信息基础设施。信息基础设施主要指基于新一代信息技术演化生成的基础设施。信息基础设施包括:
    ①以5G、物联网、工业互联网、卫星互联网为代表的通信网络基础设施;
    ②以人工智能、云计算、区块链等为代表的新技术基础设施;
    ③以数据中心、智能计算中心为代表的算力基础设施等。
    信息基础设施凸显“技术新”。
  2. 融合基础设施。融合基础设施主要指深度应用互联网、大数据、人工智能等技术,支撑传统基础设施转型升级,进而形成的融合基础设施。融合基础设施包括智能交通基础设施、智慧能源基础设施等。融合基础设施重在“应用新”。
  3. 创新基础设施。创新基础设施主要指支撑科学研究、技术开发、产品研制的具有公益属性的基础设施。创新基础设施包括重大科技基础设施、科教基础设施、产业技术创新基础设施等。创新基础设施强调“平台新”。
5.工业互联网

工业互联网不是互联网在工业的简单应用,是具有更为丰富的内涵和外延。它既是工业数字化、网络化、智能化转型的基础设施,也是互联网、大数据、人工智能与实体经济深度融合的应用模式,同时也是一种新业态、新产业,将重塑企业形态、供应链和产业链。

从工业经济发展角度看,工业互联网为制造强国建设提供关键支撑。一是推动传统工业转型升级。二是加快新兴产业培育壮大。

从网络设施发展角度看,工业互联网是网络强国建设的重要内容。一是加速网络演进升级。二是拓展数字经济空间。

  • 工业互联网平台体系具有四大层级:它以网络为基础,平台为中枢,数据为要素,安全为保障。

工业互联网平台体系包括边缘层、IaaS、Paas 和 Saas四个层级,相当于工业互联网的“操作系统”,
它有四个主要作用:①数据汇聚。②建模分析。③知识复用。④应用创新。

1月15日

1.云计算(事业单位考试考过)
技术基础

云计算 (Cloud Computing)是分布式计算的一种,指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,然后通过由多部服务器组成的系统进行处理和分析这些小程
序得到结果并返回给用户,是分布式计算、效用计算、负载
均衡、并行计算、网络存储、热备份冗余和虚拟化等计算机技术混合演进并跃升的结果。

云计算实现了“快速、按需、弹性”的服务,用户可以随时通过宽带网络接入“云”并获得服务,按照实际需求获取或释放资源,根据需求对资源进行动态扩展。

按照云计算服务提供的资源层次,可以分为基础设施即服务 (Infrastructure as a Service,IaaS)、平台即服务 (Platform as a Service, PaaS) 和软件即服务(Software as a Service,SaaS)三种服务类型。

  • laaS 向用户提供计算机能力、存储空间等基础设施方面的服务。这种服务模式需要较大的
    基础设施投入和长期运营管理经验,其单纯出租资源的盈利能力有限。
  • PaaS 向用户提供虚拟的操作系统、数据库管理系统、Web 应用等平台化的服务。PaaS 服务
    的重点不在于直接的经济效益,而更注重构建和形成紧密的产业生态。
  • SaaS 向用户提供应用软件(如 CRM、办公软件等)、组件、工作流等虚拟化软件的服务,SaaS 一般采用 Web 技术和 SOA 架构,通过 Internet 向用户提供多租户、可定制的应用能力,大大缩短了软件产业的渠道链条,减少了软件升级、定制和运行维护的复杂程度,并使软件提供商从软件产品的生产者转变为应用服务的运营者。
关键技术

云计算的关键技术主要涉及虚拟化技术、云存储技术、多租户和访问控制管理、云安全技术等。

  1. 虚拟化技术

主要包含CPU虚拟化和操作系统虚拟化。

CPU 的虚拟化技术可以单 CPU模拟多 CPU 并行,允许一个平台同时运行多个操作系统,并且应用程序都可以在相互独立的空间内运行而互不影响,从而显著提高计算机的工作效率。

容器 (Container)技术是一种全新意义上的虚拟化技术,属于操作系统虚拟化的范畴,也就是由操作系统提供虚拟化的支持。目前最受欢迎的容器环境是 Docker。容器技术将单个操作系统的资源划分到孤立的组中,以便更好地在孤立的组之间平衡有冲突的资源使用需求。使用容器技术可将应用隔离在一个独立的运行环境中,该独立环境称之为容器,可以减少运行程序带来的额外消耗,并可以在几乎任何地方以相同的方式运行。

  1. 云存储技术

云存储技术是基于传统媒体系统发展而来的一种全新信息存储管理方式,该方式整合应用了计算机系统的软硬件优势,可较为快速、高效地对海量数据进行在线处理,通过多种云技术平台的应用,实现了数据的深度挖掘和安全管理。

分布式文件系统作为云存储技术中的重要组成部分,在维持兼容性的基础上,对系统复制和容错功能进行提升。通过云集群管理实现云存储的可拓展性。

  1. 多租户和访问控制管理

云计算环境下访问控制的研究是伴随着云计算的发展而开始的,访问控制管理是云计算应用的核心问题之一。云计算访问控制的研究主要集中在云计算访问控制模型、基于ABE密码体制的云计算访问控制、云中多租户及虚拟化访问控制研究。

云计算中的访问控制模型都是以传统的访问控制模型为
基础,在传统的访问控制模型上进行改进,使其更适用于云计算的环境。根据访问控制模型功能的不同,研究的内容和方法也不同,常见的有基于任务的访问控制模型、基于属性模型的云计算访问控制、基于 UCON 模型的云计算访问控制、基于 BLP 模型的云计算访问控制等。

基于 ABE 密码机制 1 的云计算访问控制包括 4 个参与方:数据提供者、可信第三方授权中心、云存储服务器和用户

  1. 云安全技术

云安全研究主要包含两个方面的内容:
一是云计算技术本身的安全保护工作,涉及相应的数据完整性及可用性、隐私保护性以及服务可用性等方面的内容;
二是借助于云服务的方式来保障客户端用户的安全防护需求,通过云计算技术来现互联网安全,涉及基于云计算的病毒防治、木马检测技术等。

2.大数据

大数据(Big Data) 指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

技术基础

大数据是具有体量大、结构多样、时效性强等特征的数据,处理大数据需要采用新型计算架构和智能算法等新技术大数据从数据源到最终价值实现一般需要经过数据准备、数据存储与管理、数据分析和计算、数据治理和知识展现等过程,涉及数据模型、处理模型、计算理论以及与其相关的分布计算、分布存储平台技术、数据清洗和挖掘技术、流式计算和增量处理技术、数据质量控制等方面的研究。

一般来说,大数据主要特征包括:

  • 数据海量:
    大数据的数据体量巨大,从TB级别跃升到PB级别(1PB=1024TB)、EB级别(1EB=1024PB),甚至达到ZB级别 (1ZB=1024EB)。
  • 数据类型多样:
    大数据的数据类型繁多,一般分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。
  • 数据价值密度低:
    数据价值密度的高低与数据总量的大小成反比。以视频为例,一部1小时的视频,在连续不间断的监控中,有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”,成为目前大数据背景下待解决的难题。
  • 数据处理速度快:
    为了从海量的数据中快速挖掘数据价值,一般要求要对不同类型的数据进行快速的处理,这是大数据区分于传统数据挖掘的最显著特征。
关键技术
  1. 大数据获取技术
    目前,大数据获取的研究主要集中在数据采集、整合和清洗三个方面。数据采集技术实现数据源的获取,然后通过整合和清理技术保证数据质量。
  • 数据采集技术主要是通过分布式爬取、分布式高速高可靠性数据采集、高速全网数据映像技术,从网站上获取数据信息。除了网络中包含的内容之外,对于网络流量的采集可以使用DPI 或 DFI 等带宽管理技术进行处理。数据整合技术是在数据采集和实体识别的基础上,实现数据到信息的高质量整合。
  • 数据整合技术包括多源多模态信息集成模型、异构数据智能转换模型、异构数据集成的智能模式抽取和模式匹配算法、自动容错映射和转换模型及算法、整合信息的正确性验证方法、整合信息的可用性评估方法等。
  • 数据清洗技术一般根据正确性条件和数据约束规则,清除不合理和错误的数据,对重要的信息进行修复,保证数据的完整性。包括数据正确性语义模型、关联模型和数据约束规则、数据错误模型和错误识别学习框架、针对不同错误类型的自动检测和修复算法、错误检测与修复结果的评估模型和评估方法等。
  1. 分布式数据处理技术
    分布式计算是随着分布式系统的发展而兴起的,其核心是将任务分解成许多小的部分,分配给多台计算机进行处理,通过并行工作的机制,达到节约整体计算时间,提高计算效率的目的。
    目前,主流的分布式计算系统有 Hadoop、Spark 和 Storm。Hadoop 常用于离线的复杂的大数据处理,Spark 常用于离线的快速的大数据处理,而 Storm 常用于在线的实时的大数据处理。
    大数据分析与挖掘技术主要指改进已有数据挖掘和机器学习技术: 开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;创新基于对象的数据连接、相似性连接等大数据融合技术;突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。

  2. 大数据管理技术
    大数据管理技术主要集中在大数据存储、大数据协同和安全隐私等方面。大数据存储技术主要有三个方面。
    ① 采用 MPP 架构的新型数据库集群,通过列存储、粗粒度索引等多项大数据处理技术和高效的分布式计算模式,实现大数据存储;
    ② 围绕 Hadoop 衍生
    出相关的大数据技术,应对传统关系型数据库较难处理的数据和场景,通过扩展和封装 Hadoop
    来实现对大数据存储、分析的支撑;
    ③ 基于集成的服务器、存储设备、操作系统、数据库管理系统,实现具有良好的稳定性、扩展性的大数据一体机。
    多数据中心的协同管理技术是大数据研究的另一个重要方向。通过分布式工作流引擎实现工作流调度、负载均衡,整合多个数据中心的存储和计算资源,从而为构建大数据服务平台提供支撑。

  3. 大数据应用和服务技术
    大数据应用和服务技术主要包含分析应用技术和可视化技术。大数据分析应用主要是面向业务的分析应用。在分布式海量数据分析和挖掘的基础上,大数据分析应用技术以业务需求为驱动,面向不同类型的业务需求开展专题数据分析,为用户提供高可用、高易用的数据分析服务。
    可视化通过交互式视觉表现的方式来帮助人们探索和理解复杂的数据。大数据的可视化技术主要集中在文本可视化技术、网络 (图)可视化技术、时空数据可视化技术、多维数据可视化和交互可视化等。在技术方面,主要关注原位交互分析(In Situ Interactive Analysis)、数据表示、不确定性量化和面向领域的可视化工具库。

3.区块链

区块链技术具有多中心化存储、隐私保护、防篡改等特点,提供了开放、分散和容错的事务机制,成为新一代匿名在线支付、汇款和数字资产交易的核心,被广泛应用于各大交易平台,为金融、监管机构、科技创新、农业以及政治等领域带来了深刻的变革。

技术基础

区块链概念可以理解为以非对称加密算法为基础,以改进的默克尔树 (Merkle Tree) 为数据结构,使用共识机制、点对点网络、智能合约等技术结合而成的一种分布式存储数据库技术。区块链分为公有链(Public Blockchain)、联盟链 (Consortium Blockchain)、私有链 (Private Blockchain)和混合链 (Hybrid Blcokchain) 四大类。

一般来说,区块链的典型特征包括:

  • 多中心化:链上数据的验证、核算、存储、维护和传输等过程均依赖分布式系统结构,运用纯数学方法代替中心化组织机构在多个分布式节点之间构建信任关系,从而建立可信的分布式系统。
  • 多方维护:激励机制可确保分布式系统中的所有节点均可参与数据区块的验证过程,并通过共识机制选择特定节点将新产生的区块加入到区块链中。
  • 时序数据:区块链运用带有时间戳信息的链式结构来存储数据信息,为数据信息添加时间维度的属性,从而可实现数据信息的可追溯性。
  • 智能合约: 区块链技术能够为用户提供灵活可变的脚本代码,以支持其创建新型的智能合约。
  • 不可篡改: 在区块链系统中,因为相邻区块间后序区块可对前序区块进行验证,若篡改某一区块的数据信息,则需递归修改该区块及其所有后序区块的数据信息,然而每一次哈希的重新计算代价是巨大的,且须在有限时间内完成,因此可保障链上数据的不可篡改性。
  • 开放共识:在区块链网络中,每台物理设备均可作为该网络中的一个节点,任意节点可自由加入且拥有一份完整的数据库拷贝。
  • 安全可信:数据安全可通过基于非对称加密技术对链上数据进行加密来实现,分布式系
    统中各节点通过区块链共识算法所形成的算力来抵御外部攻击、保证链上数据不被篡改
    和伪造,从而具有较高的保密性、可信性和安全性。
关键技术
  1. 分布式账本
    分布式账本是区块链技术的核心之一。分布式账本的核心思想是:交易记账由分布在不同地方的多个节点共同完成,而且每一个节点保存一个唯一、真实账本的副本,它们可以参与监督交易合法性,同时也可以共同为其作证;账本里的任何改动都会在所有的副本中被反映出来,反应时间会在几分钟甚至是几秒内,记账节点足够多,理论上除非所有的节点被破坏,所有整个分布式账本系统是非常稳健的,从而保证了账目数据的安全性。
    分布式账本中存储的资产是指法律认可的合法资产,如金融、实体、电子的资产等任何形式的有价资产。为了确保资产的安全性和准确性,分布式账本一方面通过公私钥以及签名控制账本的访问权:另一方面根据共识的规则,账本中的信息更新可以由一个、一部分人或者是所有参与者共同完成。

  2. 加密算法
    区块数据的加密是区块链研究和关注的重点,其主要作用是保证区块数据在网络传输、存储和修改过程中的安全。区块链系统中的加密算法一般分为散列(哈希) 算法和非对称加密算法。
    散列算法也叫数据摘要或者哈希算法,其原理是将一段信息转换成一个固定长度并具备以下特点的字符串:如果某两段信息是相同的,那么字符也是相同的:即使两段信息十分相似,但只要是不同的,那么字符串将会十分杂乱、随机并且两个字符串之间完全没有关联。
    本质上,散列算法的目的不是为了“加密”而是为了抽取“数据特征”,也可以把给定数据的散列值理解为该数据的“指纹信息”。典型的散列算法有 MD5、SHA-1/SHA-2 和 SM3,目前区块链主要使用 SHA-2 中的 SHA256 算法
    非对称加密算法由对应的一对唯一性密钥(即公开密钥和私有密钥) 组成的加密方法。任何获悉用户公钥的人都可用用户的公钥对信息进行加密与用户实现安全信息交互。由于公钥与私钥之间存在的依存关系,只有用户本身才能解密该信息,任何未受授权用户甚至信息的发送者都无法将此信息解密。常用的非对称加密算法包括 RSA、Elgamal、D-H、ECC(圆曲线加密算法) 等。

  3. 共识机制
    区块链共识问题需要通过区块链的共识机制来解决。在互联网世界,共识主要是计算机和软件程序协作一致的基本保障,是分布式系统节点或程序运行的基本依据。共识算法能保证分布式的计算机或软件程序协作一致,对系统的输入输出做出正确的响应。
    区块链的共识机制的思想是: 在没有中心点总体协调的情况下,当某个记账节点提议区块数据增加或减少,并把该提议广播给所有的参与节点,所有节点要根据一定的规则和机制,对这一提议是否能够达成一致进行计算和处理。
    目前,常用的共识机制主要有 Pow、PoS、DPoS、Paxos、PBFT 等。根据区块链不同应用场景中各种共识机制的特性。
    共识机制分析可基于:

  • 合规监管:是否支持超级权限节点对全网节点、数据进行监管
  • 性能效率:交易达成共识被确认的效率。
  • 资源消耗: 共识过程中耗费的CPU、网络输入输出、存储等资源
  • 容错性: 防攻击、防欺诈的能力。
4.人工智能
技术基础

人工智能在技术研究方面主要聚焦在热点技术、共性技术和新兴技术三个方面。其中以机器学习为代表的基础算法的优化改进和实践,以及迁移学习、强化学习、多核学习和多视图学习等新型学习方法是研究探索的热点;自然语言处理相关的特征提取、语义分类、词嵌入等基础技术和模型研究,以及智能自动问答、机器翻译等应用研究也取得诸多的成果;以知识图谱、专家系统为逻辑的系统化分析也在不断地取得突破,大大拓展了人工智能的应用场景,对人工智能未来的发展具有重要的潜在影响。

关键技术
  1. 机器学习
    机器学习是一种自动将模型与数据匹配,并通过训练模型对数据进行“学习”的技术。
    神经网络是机器学习的一种形式,该技术出现在 20 世纪 60 年代,并用于分类型应用程序它根据输入、输出、变量权重或将输入与输出关联的“特征”来分析问题。它类似于神经元处理信号的方式。深度学习是通过多等级的特征和变量来预测结果的神经网络模型,得益于当前计算机架构更快的处理速度,这类模型有能力应对成千上万个特征。与早期的统计分析形式不同,深度学习模型中的每个特征通常对于人类观察者而言意义不大,使得该模型的使用难度很大且难以解释。深度学习模型使用一种称为反向传播的技术,通过模型进行预测或对输出进行分类。强化学习是机器学习的另外一种方式,指机器学习系统制订了目标而且迈向目标的每·步都会得到某种形式的奖励。
    机器学习模型是以统计为基础的,而且应该将其与常规分析进行对比以明确其价值增量。

  2. 自然语言处理
    自然语言处理 (Natural Language Processing,NLP) 是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。

  3. 专家系统
    专家系统是一种模拟人类专家解决领域问题的计算机程序系统。

5.虚拟现实
技术基础

虚拟现实 (Virtual Reality,VR) 是一种可以创立和体验虚拟世界的计算机系统(其中虚拟世界是全体虚拟环境的总称)。
虚拟现实技术的主要特征包括沉浸性、交互性、多感知性、构想性(也称想象性) 和自主性。

关键技术

虚拟现实的关键技术主要涉及人机交互技术、传感器技术、动态环境建模技术和系统集成技术等。

  1. 人机交互技术
    虚拟现实中的人机交互技术与传统的只有键盘和鼠标的交互模式不同,是一种新型的利用VR 眼镜、控制手柄等传感器设备,能让用户真实感受到周围事物存在的一种三维交互技术,将三维交互技术与语音识别、语音输入技术及其他用于监测用户行为动作的设备相结合,形成了目前主流的人机交互手段。
  2. 传感器技术
    VR 技术的进步受制于传感器技术的发展,现有的 VR 设备存在的缺点与传感器的灵敏程度有很大的关系。例如 VR 头显 (即 VR 眼镜) 设备过重、分辨率低、刷新频率慢等,容易造成视觉疲劳:数据手套等设备也都有延迟长、使用灵敏度不够的缺陷,所以传感器技术是 VR 技术更好地实现人机交互的关键。
    3)动态环境建模技术
    虚拟环境的设计是 VR 技术的重要内容,该技术是利用三维数据建立虚拟环境模型。目前常用的虚拟环境建模工具为计算机辅助设计 (Computer Aided Design,CAD),操作者可以通过CAD 技术获取所需数据,并通过得到的数据建立满足实际需要的虚拟环境模型。除了通过 CAD技术获取三维数据,多数情况下还可以利用视觉建模技术,两者相结合可以更有效地获取数据。
  3. 系统集成技术
    VR 系统中的集成技术包括信息同步、数据转换、模型标定、识别和合成等技术,由于 VR系统中储存着许多的语音输入信息、感知信息以及数据模型,因此 VR 系统中的集成技术显得越发重要。

1月16日

1.计算机软硬件

参考博客


  1. 基于 ABE 密码机制 的云计算访问控制流程:
    首先,可信授权中心生成主密钥和公开参数,将系统公钥传给数据提供者;
    数据提供者收到系统公钥之后,用策略树和系统公钥对文件加密,将密文和策略树上传到云服务器;
    然后,当一个新用户加入系统后,将自己的属性集上传给可信授权中心并提交私钥申请请求;
    可信授权中心针对用户提交的属性集和主密钥计算生成私钥,传给用户; 最后,用户下载感兴趣的数据。
    如果其属性集合满足密文数据的策略树结构,则可以解密密文;否则,访问数据失败。 ↩︎

  • 5
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值