云计算和大数据的标准化需求和标准化组织有哪些?

本文详细分析了云计算标准化的需求,包括技术、运营和安全管理等方面,并探讨了大数据标准化的技术视角和市场视角,强调了标准化对于提高产品质量、推动业务发展和社会管理变革的重要性。

云计算标准化需求分析:

从技术角度看

  •  概念和定义:通过标准化统一云计算的概念、定义及内容;
  •  互操作:需要制定分布式计算资源、存储资源之间的接口标准,以便更好地解决互操作问题;
  •  虚拟化:需要制定网络、硬件等各种资源虚拟化的格式规范,解决资源的虚拟化、调度和流转问题;
  •  应用开发和部署:需要制定虚拟资源池应用开发接口规范,为上层应用的开发部署及应用提供更好的支撑;
  •  相关产品:需要制定分布式文件系统、分布式数据库、资源虚拟化系统等产品的功能、性能要求等标准,为提高产品质量提供支持。

从运营和安全管理角度看

  •  服务能力:需要制定标准规范提供云计算服务应具备的条件和能力
  •  服务质量评价:需要制定云计算服务质量的评价标准,保证服务质量
  •  运行维护:需要针对云计算相关的计算资源、存储资源的运行维护制定相关的标准,为提高运营提供支持;
  •  安全管理:需要制定数据的存储安全和传输安全,跨云的安全管理等监管、如跨云的身份鉴别、访问控制、安全审计等;
  •  能效管理:需要制定针对绿色数据中心建设的标准,为实现节能减排、低碳提供标准支撑。

大数据标准化需求分析:

从技术角度看
  • 数据准备技术:通过标准规范化数据表示、元数据类型和操作方式,为数据的统一存储提供基础。
  • 数据存储技术:需要制定关于分布式文件系统、数据仓库的相关标准,解决多类型数据的可靠存储问题。
  • 数据平台技术:数据平台涉及到面向服务的体系结构(SOA)、数据并行处理(MapReduce)等技术,我国在SOA标准化方面已研制了系列标准,具备了支撑大数据发展的良好基础。在数据并行处理技术发面,需要制定接口规范,为上层应用的开发部署提供更好的互操作性支撑。
  • 数据处理技术:需要制定大数据分析技术要求、分析过程模型、可视化工具要求等标准,以提高大数据处理产品的质量。

从市场角度看
  • 大数据改变经济社会管理方式。可以提高企业经营决策水平和效率,推动创新,给企业、行业领域带来价值。
  • 促进行业融合发展。在技术和业务的促进下,跨领域、跨系统、跨地域的数据共享成为可能,大数据支持着机构业务决策和管理决策的精准性与科学性,社会整体层面的业务协同效率提高。
  • 推动产业转型升级。大数据环境下,ICT产业面临着有效存储、实时分析、高性能计算等挑战,这将对软件产业、芯片以及存储产业产生重要影响。
  • 助力智慧城市建设。大数据与智慧城市是信息化建设的内容与平台,两者互为推动力量。智慧城市是大数据的源头,大数据是智慧城市的内核。
通过研制大数据的质量评价指标、数据管理技术要求、数据访问接口规范、数据查询语言等标准,为大数据的市场化应用提供支撑。


国内外标准化组织:







国内标准化组织:

    1、全国信标委(TC28)
云计算、ITSS、非结构化工作组、数据管理、SOA等

    2、全国信安标委(TC 260)

参加的国际标准化组织
JTC1、ITU-T、DMTF、SNIA、OASIS、W3C等



2015-08


⼤数据产品开发流程规范_⼤数据开发步骤流程 ⼤数据项⽬开发步骤: 第⼀步:需求:数据的输⼊数据的产出; 第⼆步:数据量、处理效率、可靠性、可维护性、简洁性; 第三步:数据建模; 第四步:架构设计:数据怎么进来,输出怎么展⽰,最最重要的是处理流出数据的架构; 第五步:再次思考⼤数据系统企业IT系统的交互; 第六步:最终确定选择、规范等; 第七步:基于数据建模写基础服务代码; 第⼋步:正式编写第⼀个模块; 第九步:实现其它的模块,并完成测试调试等; 第⼗步:测试验收; ⼤数据流程: 从流程⾓度上看,整个⼤数据处理可分成4个主要步骤。 第⼀步是数据的搜集与存储; 第⼆步是通过数据分析技术对数据进⾏探索性研究,包括⽆关数据的剔除,即数据清洗,与寻找数据的模式探索数据的价值所在; 第三步为在基本数据分析的基础上,选择开发数据分析算法,对数据进⾏建模。从数据中提取有价值的信息,这其实是真正的阿⾥云⼤数 据的学习过程。这当中会涉及很多算法技术,⽐如机器学习算法等; 最后⼀步是对模型的部署应⽤,即把研究出来的模型应⽤到⽣产环境之中。 1) 数据采集:定制开发采集程序,或使⽤开源框架flume 2) 数据预处理:定制开发mapreduce程序运⾏于hadoop集群 3) 数据仓库技术:基于hadoop之上的Hive 4) 数据导出:基于hadoop的sqoop数据导⼊导出⼯具 5) 数据可视化:定制开发web程序或使⽤kettle等产品
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值