第一章:一体化技术平台蓝图总体规划
一、一体化技术平台规划思路
-
借鉴成熟的技术架构模型,如微服务架构、SOA(面向服务的架构)等,为集团一体化技术平台提供设计基础。
-
分析现有业务应用需求,明确平台需具备的处理能力、响应时间、稳定性及数据容量等关键指标。
-
结合集团的发展战略,如“互联网+中国制造2025”、“工业4.0”等,明确技术平台的发展方向。
-
紧跟云计算、大数据、移动应用等技术发展趋势,确保平台规划的前瞻性与适应性。
二、一体化技术平台规划原则及方向
-
通过资源整合与共享,提高IT资源的利用效率,降低运营成本。
-
推动业务系统的集中管理与统一运维,提升整体运营效率。
三、构建集团公司基于云计算、大数据、高安全的智能技术架构
-
搭建私有云与公有云相结合的混合云架构,实现资源的弹性伸缩与按需分配。
-
提供IaaS(基础设施即服务)、PaaS(平台即服务)与SaaS(软件即服务)多层次云服务,满足不同业务场景的需求。
-
将人工智能、机器学习等智能技术融入平台中,提升平台的智能化水平。
-
实现业务流程的自动化处理、智能分析与预测等功能,提高业务效率与决策准确性。
第二章:集团一体化技术平台详细介绍
一、云平台
1. 集团云平台战略规划
-
基础设施与服务模式:集团采用企业私有云与公共云相结合的方式,私有云主要提供IaaS、PaaS服务,公共云则提供SaaS、PaaS、IaaS服务。
-
资源池部署:建设统一的私有云平台,实现资源池的两级部署与统一管控,以提高资源利用率和降低运维成本。
2. 软件定义基础设施
-
抽象化与池化:所有基础设施资源(计算、存储、网络)均遵循虚拟化原则,实现资源的抽象化、池化与自动化管理。
-
策略驱动:基于策略的管理方式,支持业务流程的自助服务,实现资源的定制化与按需分配。
3. 基于云平台的智能的基础设施环境
-
动态响应:基础设施环境能够面向互联网,动态响应业务应用的需求,实现资源的弹性扩展与快速部署。
-
统一管控:通过统一的云平台,对集团总部及下属分支机构的基础资源进行集中管控,确保技术架构、软硬件平台及安全运维监控的统一性。
4. 集团云平台服务范围
-
服务标准化:通过标准化软硬件资源,整合形成基础设施资源池,建立统一调度的资源分配机制。
-
服务自动化:构建云平台,实现资源调配的服务化、自动化,进一步降低建设、管理及运维成本。
5. 基于云平台的信息机房的功能定位
-
两级机房体系:构建“2+N”模式的两级机房体系,集团总部级采用“双活两中心”模式,下属分支机构级分别建设集中信息机房。
-
功能划分:总部生产机房作为主生产中心与灾备中心,下属分支机构信息机房作为集中生产中心,确保业务的连续性与数据的安全性。
6. 基于云平台的网络平台整体规划
-
通信链路:采用光纤专线连接总部生产机房与灾备机房,确保大二层互通与实时数据同步。
-
网络覆盖:实现上海地区分支机构与总部机房的直连,外地分支机构通过运营商线路连接,确保网络覆盖的广泛性与稳定性。
7. 集团云服务目录的能力框架
-
服务定义与交付:服务目录定义了云可以提供的服务及其交付方式,包括资源组合、服务需求管理、服务开发等关键环节。
-
用户层次:服务面向多层次的用户(业务用户、IT用户等),确保不同角色的用户能够便捷地获取所需服务。
8. 基于云平台的开发测试管理服务
-
环境部署:通过云平台实现开发测试环境的快速部署与资源共享,降低环境搭建成本与时间。
-
规范化管理:提供标准化的开发测试管理流程与工具,促进规范化建设,简化管理复杂度。
9. 基于云平台的运维管理服务参照框架
-
统一监控:通过集中监控平台与云管理平台,实现对物理设备、云化设备的统一监控与管理。
-
流程整合:通过流程管理平台层,将运维管理流程与监控流程进行整合,实现统一化的运维和监控管理。
10. 集团私有云资源规划
-
资源分配原则:根据不同应用系统的业务特征、运营管理、技术特征及安全等级,为其分配相应的信息资源。
-
资源优化:通过资源池化与动态调整机制,优化资源分配,提高资源利用率,降低运维成本。
11. 基于云平台的安全技术体系架构
-
多层次防护:构建包括物理安全、网络安全、系统安全及数据安全在内的多层次安全防护体系。
-
智能安全:结合ISO 27001信息安全体系,提供智能的安全监测、预警与响应能力,确保云平台的安全稳定运行。
12. 基于云平台的灾备环境规划
-
灾备策略:结合云平台的HA功能,实现应用、服务器平台的跨机房备份与动态迁移。
-
灾备演练:定期进行灾备演练,确保在灾难发生时能够迅速切换至灾备环境,保障业务的连续性与数据的安全性。
二、应用集成平台
1. 集团应用集成平台规划
-
SOA体系构建:采取SOA(面向服务的架构)体系,构建企业应用集成平台,实现各应用系统之间的数据共享和交换。
-
企业服务总线:以ORACLE OSB为基础建设企业服务总线,实现集中式管理、分布式运行,支持多种协议,具有良好的可扩展性和可靠性。
-
流程管理平台:基于ESB建设企业流程管理平台,对业务流程进行规范化管理,提高业务流程的统一管控能力。
2. 统一应用集成平台技术能力框架
-
连接/适配层:提供与各种应用系统、数据源的连接与适配能力。
-
服务运行层:支持服务的运行、监控与管理,确保服务的稳定运行。
-
业务服务层与安全层:提供业务服务的封装、调用与管理,同时保障服务的安全性。
3. BPM平台技术能力框架
-
流程建模与仿真:支持业务流程的建模与仿真,帮助企业优化业务流程。
-
流程监控与管理:实时监控业务流程的运行情况,提供流程管理、分析与优化能力。
-
集成与扩展:与ESB等集成,实现业务流程的自动化与智能化管理,同时支持平台的扩展与升级。
三、数据服务平台
1. 大数据参照模型
-
数据服务与主题:提供数据主题服务,支持战略决策、销售报表等应用场景。
-
数据生命周期管理:涵盖数据的采集、存储、处理、分析到应用的全生命周期管理。
-
技术与平台:涉及大数据存储、处理、分析等技术,以及云平台的管理与安全。
2. 集团数据服务平台总体架构
-
技术平台与管理平台:构建技术平台与管理平台,支持大数据的采集、存储、处理与分析。
-
组织保障与制度:建立组织保障与数据管理制度,确保数据服务平台的稳定运行与数据安全。
-
数据源与应用:整合内外部数据源,为各类应用提供数据支持。
3. 大数据平台技术能力框架
-
数据采集与存储:支持海量数据的采集、存储与管理。
-
数据分析与挖掘:提供强大的数据分析与挖掘能力,支持复杂的数据分析需求。
-
数据服务与展现:通过数据服务与展现层,为用户提供便捷的数据访问与应用体验。
4. 大数据平台建设的重点
-
数据获取与存储:确保数据的准确性、完整性与时效性,提供高效的数据存储解决方案。
-
分析处理算法:研发与优化数据分析处理算法,提高数据分析的准确性与效率。
-
平台稳定性与安全性:确保平台的稳定运行与数据安全,防止数据泄露与滥用。
5. 大数据主流技术分析
-
分布式存储与计算:如Hadoop、Spark等,支持海量数据的分布式存储与计算。
-
数据挖掘与机器学习:如Mahout、R等,提供强大的数据挖掘与机器学习能力。
-
数据可视化:如Birt、Jsp等,支持数据的可视化展示,提升用户体验。
6. 大数据人才建设
-
人才培养与引进:加强大数据人才的培养与引进,建立专业的大数据团队。
-
知识分享与协作:建立知识分享与协作机制,促进团队内部的交流与合作。
-
持续学习与提升:鼓励团队成员持续学习新技术、新知识,不断提升自身能力。
7. 主数据管理的四种部署模式
-
索引模式:主数据存储在各自的应用系统中,主数据管理系统提供主数据关系信息(索引)。
-
报备模式:应用系统向主数据管理系统报备主数据,主数据管理系统提供整合后的主数据。
-
共享模式:主数据管理系统集中存储主数据,为应用系统提供实时的主数据服务。
-
交易模式:主数据管理系统全面支撑应用系统的业务操作与流程,实现主数据的实时交易处理。
8. 集团主数据管理规划
-
管理模式选择:根据集团实际情况,选择合适的主数据管理模式(如索引模式)。
-
平台建设:建设主数据管理平台,实现主数据的集中存储、管理与服务。
-
标准与规范:制定主数据管理标准与规范,确保主数据的准确性、一致性与完整性。
9. 数据标准管理
-
标准制定与审核:制定数据标准,并进行审核与发布,确保标准的科学性与合理性。
-
执行与反馈:监督数据标准的执行情况,收集反馈意见,不断完善数据标准。
-
跨部门协作:加强跨部门协作,推动数据标准的落地与执行。
10. 数据质量管理
-
质量需求定义:明确数据质量需求,为数据质量管理提供依据。
-
质量检查与纠正:定期进行数据质量检查,及时发现并纠正数据质量问题。
-
持续改进:建立数据质量管理循环机制,持续改进数据质量。
11. 数据安全管理
-
安全定级与授权:对数据进行安全定级,并建立数据访问授权机制,确保数据安全。
-
安全监测与预警:加强数据安全监测与预警能力,及时发现并处置数据安全事件。
-
安全培训与意识:加强员工的数据安全意识培训,提高全员数据安全意识。
四、信息交互平台
1. 企业门户的重要性
-
信息集成与展现:企业门户作为信息集成与展现的核心平台,实现各类信息的集中展示与统一管理。
-
内部协同与外部交互:支持内部协同办公与外部信息交互,提升企业工作效率与对外形象。
-
决策支持:通过数据分析与挖掘,为企业管理层提供决策支持。
2. 企业对外社交平台
-
融合通信渠道:基于移动门户建立融合通信渠道,规范企业信息交互渠道管理。
-
统一交互服务:为内外部用户提供统一交互服务,提升用户体验。
-
社交功能拓展:逐步发展为企业对外社交平台,拓展企业的社交影响力。
3. 企业门户安全认证与访问控制
-
双因子认证:采用双因子认证方式加强门户的访问安全性。
-
VPN与USBkey:通过VPN与USBkey等技术手段保障核心应用的安全访问。
-
统一授权与访问控制:通过门户统一授予系统访问权限及入口,提高访问控制的安全性。
4. 员工统一身份全生命周期管理规划
-
身份管理流程衔接:将统一用户管理流程与人力资源管理流程衔接起来,确保员工身份信息的准确性与及时性。
-
分级委托管理:实现组织范围的分级委托管理模式,分摊用户管理的工作。
-
自动化处理:通过自动化处理机制,确保员工在各个应用系统中的账户与权限能够及时、准确地更新。
5. 桌面虚拟化建设
-
灵活性与节能:通过桌面虚拟化建设,提高工作地点的灵活性,降低能耗及制冷需求。
-
数据安全与业务连续性:确保数据从不离开数据中心,提高数据安全性与业务连续性。
-
统一管理与创新:实现桌面镜像的完全控制,为IT部门赢得更多时间用于业务创新。
以下为方案概览,仅展示部分内容******>>******
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。