傅一平-CSDN博客

原创 IT管理者的自白：技术让我坐上了会议桌，但业务语言让我在桌前有发言权

前段时间跟几位IT界的朋友聊天，谈到了IT人员用业务语言阐述技术概念的重要性，感同身受。回来梳理思路，撰万字长文一篇。一、引言想象这样一个场景：周五下午，公司季度会议室。张工，一位才华横溢的高级软件工程师，正在向公司高层汇报他团队最新开发的人工智能算法。他滔滔不绝地讲述着"深度学习模型"、"神经网络架构"和"数据优化流程"。然而，随着他深入技术细节，他注意到CEO的眼神逐渐变得茫然，CFO开始频...

2024-07-15 07:30:50 714

原创主数据如何成就业务？深入剖析与实际应用

想象一下,你正在经营一家跨国连锁咖啡店。每天,全球数千家门店都在使用你的品牌,制作相同的饮品,为客户提供服务。但是,你突然发现一个问题:纽约的"拿铁"和东京的"拿铁"配方似乎不太一样。更糟糕的是,你的线上菜单和实体店菜单显示的价格不一致,导致顾客困惑和抱怨。这就是缺乏有效主数据管理(Master Data Management, MDM)的后果。主数据管理就像是为你的企业建立一个中央指挥系统,确保...

2024-07-08 07:31:26 532

原创数据治理：一文讲透元数据

想象一下，你是一名考古学家，在广袤的沙漠中发现了一座失落已久的古代城市。每一块石头、每一片瓦片都可能隐藏着关于这个文明的无尽信息。然而，所有的文物和遗迹都散落一地，没有任何标记和说明。你能破解这些谜题，重现这座城市的辉煌吗？在现代数据驱动的世界中，我们面对的挑战类似于考古学家。这座“古代城市”就是我们庞大的数据存储库，而“元数据”则是解开这些数据奥秘的关键线索。元数据不仅是数据的“数据”，更是理解...

2024-07-02 07:31:10 1234

原创实战1年半，我总结的大模型在企业落地的三个策略

最近一周在公司总部参加大模型培训，之后总部组织了参培人员的交流发言，让大家谈谈大模型产品在省侧落地应用和AI人才发展的意见和建议。下面是我重新组织的当时的发言内容，共提了三个建议，主要是自己在做大模型过程中的一些反思。1、第一个建议，就是做大模型，一定要以业务导向，选择有主动意愿，一把手推动力很强的的业务部门来合作。去年以来我们做了不少大模型，例如ChatBI，ChatOA等，但都不能算成功。然而...

2024-06-24 07:30:13 1085

原创我整理的面向大模型的高质量语料集！

自己一直在做企业内部的垂类大模型，但随着运营深入，发现光有企业内部的领域数据还不足以微调出一个健壮的领域大模型，因为泛化能力比较弱。在领域数据中融入公共数据进行训练是公认的提升领域大模型泛化能力的方法，下面是我整理的面向大模型的六大类高质量语料集，共涉及20多个网上公开数据集（附有网址），希望对你有所帮助。一、文本数据集1、维基百科简介：免费的多语言协作在线百科全书，内容覆盖广泛，由志愿者社区编写...

2024-06-17 07:30:25 933

原创每个人都该提前想想失业了怎么办？

“每个人都该提前想想失业了怎么办？”这个问题，看似是偶然的环境变化引起的。可能你这次运气好，躲过了公司的裁员风暴，但没有谁能保证下次你不在裁员的20%之内，因此探讨这个话题很有意义。我们工作中经常提规划的重要性，但对于上了年纪的人来说，最重要的是规划好自己的后半生。年纪大了，抗风险能力弱了，更需要为未来的不确定性做准备，特别是在当下就业环境不好的时候。前段时间我面试了一个从阿里出来的高P，他现在...

2024-06-11 07:30:37 748

原创数据治理：一文讲透数据标准

3年前自己写过一篇讲数据标准的文章《如何全面而深刻的理解数据标准？（理论+案例）》，但无论是体系化程度、分类方法的科学性、案例的详实程度等各方面都有很大不足。这次在AIGC的帮助下，我再写一篇，包括六个部分，如下所示，希望带给你全新的启示：第一部分数据标准的必要性数据标准的必要性体现在提高数据质量、促进数据共享、降低数据管理成本、提高数据维护性和扩展性，以及符合法规和合规要求等多个方面。通过数据...

2024-06-03 07:31:12 797

原创数据架构：90%的人搞不清的事情

数据架构可以说是数据工作的蓝图，我以为数据架构有标准的定义和内涵，但翻遍全网，发现业界对数据架构的认识并不完全一样。考虑到数据架构对于数据工作的极端重要性，在研究了众多文献后，结合自己的真实经历，我这里给出全新版本的数据架构图，见下图，共包括6大模块。为什么会是这些内容？它们的具体内涵是什么？下面听我道来。一、传统数据架构定义1、DAMA数据架构识别企业的数据需求，并设计和维护总蓝图以满足需求，使...

2024-05-27 07:30:49 952

原创傅一平：如何成为一名顶尖的数据管理专家？

关于如何成为一名数据管理专家，今天我就来谈一谈自己的认识，算是一个系统总结吧。1、进入一个靠谱的平台小说作家，比如刘慈欣，即使不工作，他们也能靠自己丰富的想象力写出水平非常高的小说。而数据管理是一门数据科学，也是实践的学问，但无论是科学还是实践，都无法靠漫无边际的想象力达到顶尖水平。如果你有幸在一个研究机构，那可能会有研究数据管理的机会，但大部分的数据管理专家，还是来自于企业，因为企业提供了数据管...

2024-05-20 07:31:02 682

原创八个领悟：我在数据管理中的挑战与反思！

数据管理工作充满曲折和挑战，今天就来聊聊我当前面临的八大困境，分别是：大模型瓶颈、责权利不对等、组织架构缺陷、达摩克利斯之剑、扁平化悖论、数据不owner、完美的“坑”、冲动是魔鬼。同时也给出了我的一些思考，与大家共勉。1、大模型瓶颈从去年以来，我们团队陆续开发了智典、智能核稿、智乎、ChatOA、ChatBI、代码解释器等大模型应用，其中智典和智能核稿算是初战告捷。但ChatOA和ChatBI这...

2024-05-06 07:30:51 586

原创数据安全：一文读懂隐私计算

让我们从一个生动的故事入手：想象两位百万富翁偶然在街头相遇，他们各自都想夸耀自己的财富，又不愿透露具体的财务状况。他们面临的挑战是，如何确定谁更富有而不泄露各自的具体数字。这其实是隐私计算技术面临的一种经典问题。隐私计算是一组技术和方法，它们使我们能够在保护数据主体隐私的前提下，安全地存储、处理和分析数据。这些技术确保数据在加密或其他形式的保护下进行处理，从而在整个处理过程中保障数据内容的安全与隐...

2024-04-22 07:31:32 682

原创一图看懂数据仓库、数据平台、数据中台、数据湖的内涵和区别！

当大数据平台出现的时候，有人是说这不就是大号的数据仓库吗？当数据中台出现的时候，有人说这不就是数据仓库的进一步包装吗？数据湖的出现更是让很多人陷入困惑。事实上，数据仓库、数据平台、数据中台、数据湖还是有区别的，不仅在技术架构上，更是体现在业务的支撑模式上。下面我先用一张图简单示意这四个概念的区别（省略了数据管理等相关组件），其中绿色背景代表数据中台、黄色代表数据平台、灰色代表数据仓库及橙色代表数据...

2024-04-15 07:30:15 572

原创搞定数据治理：12招流程、2类神器、9项软技能 | DGI数据治理（六）

DGI(Data Governance Institute)是我看到过的最棒的数据治理框架，这是DGI数据治理框架系列的第6篇文章，错过了前面的精彩内容？点击下面链接抓紧补课！（1）一文详解数据治理的5W1H | DGI数据治理(一)（2）一文详解数据治理框架图 | DGI数据治理(二)（3）一文详解数据治理的使命和价值 | DGI数据治理(三)（4）一文详解数据治理的受益者 | DGI数据治理(...

2024-04-08 07:31:02 515

原创解锁企业架构：漫画版TOGAF框架，让初学者也能游刃有余！

TOGAF是由The Open Group开发的一个高度著名的企业架构框架。它旨在帮助组织通过提供一套系统化的方法来设计、规划、实施和管理企业架构。但TOGAF架构框架并不容易系统化掌握，诸如构件、构建块、内容元模型、连续体等诸多概念也比较抽象。因此，这次我打算采用漫画和类比的方式，以五分钟的极短篇幅，来清晰讲述TOGAF架构框架的核心概念及其结构，希望能让每个人都能领略到TOGAF的精妙之处，当...

2024-04-01 07:30:43 630

原创一文读懂数据治理5大成果，让数据从“资源” 变 “资产” | DGI框架揭秘（五）...

DGI(Data Governance Institute)数据治理框架是屹今为止我看到过的最棒的数据治理框架，这是DGI数据治理框架系列的第５篇文章，错过了前面的精彩内容？点击下面链接抓紧补课！（1）一文详解数据治理的5W1H | DGI数据治理(一)（2）一文详解数据治理框架图 | DGI数据治理(二)（3）一文详解数据治理的使命和价值 | DGI数据治理(三)（4）一文详解数据治理的受益者 ...

2024-03-27 07:34:05 636

原创数据治理的真经（PPT）

数据治理直接成就业务很难，而企业数据一致性的数据治理是我认为最接近业务的一次，因此叫取了数据治理的“真经”。我们做这次企业数据一致性治理主要有四个旅程碑，体现了做企业数据治理的主要工作，分别是：1、明确工作的总体思路2、完成问题分析和汇报3、督促各部门进行整改4、做好常态化运营工作接下来，我将以PPT的形式展示这些里程碑的主要成果，呈现我们在本次数据治理中的完整历程，希望能为大家提供有益的启示。阶...

2024-03-18 07:30:57 727

原创数据治理如何"酒香不怕巷子深"？6大价值+3大陷阱全解析 | DGI框架揭秘（四）...

DGI（Data Governance Institute）数据治理框架是屹今为止我看到过的最棒的数据治理框架，这是DGI数据治理框架系列的第4篇文章，错过了前面的精彩内容?点击下面链接抓紧补课!（1）一文详解数据治理的5W1H | DGI数据治理（一）（2）一文详解数据治理框架图 | DGI数据治理（二）（3）一文详解数据治理的使命和价值 | DGI数据治理（三）本文介绍该框架10个组件的第2个...

2024-03-11 07:30:10 735

原创为什么数据治理很难直接成就业务？

数据要素正逐渐成为生产资料的一部分，这促使越来越多企业开始重视数据治理。然而，随着数据治理工作的推进，许多团队发现直接展现其价值颇为困难。有些人开始质疑数据治理的实际效用，认为它被过分夸大。为何数据治理会留下这种印象？结合自己的实践和分析，我认为主要是由数据治理的间接性、抽象性、长期性、变革性等特点导致的，同时受到业务鸿沟和利益博弈的影响。接下来，我将详细剖析原因，并探索可能的解决之道。首先、数据...

2024-03-04 07:30:31 973

原创一文详解数据治理的使命和价值 | DGI数据治理（三）

DGI（Data Governance Institute）数据治理框架是屹今为止我看到过的最棒的数据治理框架，我所实践的数据治理内容，大都没有逃脱这个框架，因此推荐给你。为了方便大家读懂DGI框架，一方面我摘取了DGI数据治理框架[1]每个章节最核心的内容要点，方便大家速览，另一方面，我会结合实践，给出自己的解读和详细说明案例。这是DGI数据治理框架系列的第三篇文章，将介绍该框架10个组件的第1...

2024-02-27 07:30:44 1140

原创没有读不懂的书，ChatGPT让我的理解力提升了1000%！

新春假日AI领域并不平静，屡屡搞出王炸。前有英伟达发布的Chat with RTX，即每个人都可以利用自己的算力和数据做私有的ChatGPT，后有OpenAI全新发布的文生视频模型Sora，即将永久改变内容创作行业。但这些跟当下的大多数人有什么关系呢？有人会说娱乐，嗯，的确是的，但还有一样隐藏之下，那就是学习。ChatGPT将大幅提升每个人自学的能力，能提升多少倍呢？我说ChatGPT可以让你从原...

2024-02-18 07:30:16 512

原创关于数据治理十大魔鬼问题的经典回答！

本文列出了我碰到过的关于数据治理最为棘手的十大问题，并且给出了回答，细品！同时，祝大家新春快乐，与数据同行伴你同行！1、我是一个IT人员，发现系统中有很多同名不同义的指标，了解到这是由于不同部门的人员定义造成的，请问该如何解决这类问题？面对系统中存在的同名不同义指标问题，作为IT人员，可以通过以下步骤来解决这个问题：（1）指标审计收集现有指标：汇总系统中所有的指标及其定义、使用场景和负责部门。识别...

2024-02-08 09:55:04 967

原创从业务到数据，大模型应用成功的再思考！

作为一名数据团队的管理者，已经带着团队入局大模型一年有余，关于大模型应用方面的探索，自己在《业务为王，大模型应用的探索和思考！》一文中进行了介绍。其实不只是我们，相信很多数据团队也在进行大模型应用的尝试，大家都认为这是一次机会。客观的讲，数据团队搞大模型，挑战还是很大的，我这里主要谈谈自己团队当前面临的挑战，同时也谈谈初步的解决思路，供大家参考。第一，就是想清楚why和what，寻找最合适的，最细...

2024-02-04 07:30:11 1396

原创一文详解数据治理框架图 | DGI数据治理（二）

在第一篇《读透数据治理：DGI框架全解（第一章）》中我对数据治理的六个问题进行了诠释，本篇将正式介绍DGI数据治理框架图，这是当前关于DGI数据治理框架最新最全面的解读。我们为什么需要数据治理框架呢？所有组织都需要制定关于数据管理、价值实现、成本与复杂性降低、风险管理以及遵守日益增多的法律和监管要求的决策。数据治理框架提供了一套管理数据资产的政策、程序、标准和指标，帮助组织明确复杂或不明确的概念。...

2024-01-30 07:30:26 1117

原创读透数据治理：DGI框架全解（第一章）

数据治理的重要性不言而喻，但许多人却难以区分数据治理与数据管理的区别。这是一个严重的问题，因为这两者的使命和价值截然不同。尽管像DAMA、DCMM和《华为数据之道》这类读物都对数据治理有所论述，但客观来讲，它们在系统化方面仍显不足，更多的是关于数据管理的内容。以DAMA的经典车轮图为例，数据治理仅占其中一个章节，DAMA的中文翻译也叫数据管理框架，不少人会误将数据治理视为数据管理的一部分。《华为数...

2024-01-22 07:31:51 1240

原创数据治理：数据安全100个基本概念全解

根据DAMA的定义，数据安全指定义、规划、开发、执行安全策略和规程，以提供对数据和信息资产的适当验证、授权、访问和审计。数据安全的目标有三个：启用对企业数据资产的适当访问，并防止不适当的访问理解并遵守所有有关隐私、保护和保密的法规和政策确保所有利益相关方的隐私和保密需求得到执行和审计在《数据治理：一文讲透数据安全》一文中，我对如何实施数据安全进行了相对宏观的介绍。本文将从微观入手，对104个数据安...

2024-01-15 07:30:22 1351

原创数据治理：一文讲透数据安全

数据安全是数据治理的核心内容之一，随着数据治理的深入，我不断的碰到数据安全中的金发姑娘问题（指安全和效率的平衡）。DAMA说，降低风险和促进业务增长是数据安全活动的主要驱动因素，数据安全是一种资产，这是很好的观点。我决定系统化的去学习一下数据安全知识，因此重新研读了DAMA、DCMM、相关书籍的数据安全内容，在此基础上，尝试用更系统化、通俗化、案例化的方式讲清楚数据安全到底是什么，希望带给大家新的...

2024-01-08 07:30:24 1293

原创 2024年，我的数据工作计划

2023年已经过去，以下是我关于2024年数据工作的初步思考，包括企业数据一致性治理、业务对象建模、数据民主化、实时决策、业财融合、B端数据分析、数据治理变现及大模型应用等八项工作，特此分享。1、企业数据一致性治理很多人在讲数据治理与业务的关系有点远，企业数据一致性治理则是直接呈现数据治理价值的一种方式，比如，解决用户订单和开通平台的数据不一致就会降低公司的经营风险，这种效益是非常直接的。但传统的...

2024-01-02 07:30:31 976

原创为了搞懂数字化转型，我连问 ChatGPT 42个问题，通透！

我对数字化转型有很多的疑问，这次向ChatGPT请教，连问42个问题，瞬间觉得通透了很多。下面是我的问题和ChatGPT的回复，近3万字，估计已经可以汇编成一本名叫《数字化转型问题答疑集》的小册子了，共分为概念篇、方法篇、实践篇和数据篇，希望能带给你新的启示！一、概念篇1、数字化转型到底是什么？数字化转型是指组织利用数字技术全面改造其业务运营、管理方法、客户互动和整体商业模式的过程。这个概念涵盖了...

2023-12-11 07:31:04 412

原创业务为王，大模型应用的探索和思考！

大模型出来后，自己就一直在思考大模型在公司的应用场景，也特别希望大模型在数据治理领域有所作为，至今已有大半个年头，今天就跟大家来聊聊这个探索之旅，共分为七个阶段：1、ChatGPT的启蒙2、“智乎”问答的幻象3、ChatBI能力之殇4、完美的“智典”场景5、智能核稿的考验6、实践的六个总结7、后续工作的思考1、ChatGPT的启蒙自己从事数据相关工作，经常碰到各种问题，ChatGPT出现后，其强大...

2023-12-05 07:30:24 273

原创数据团队如何编写2023年度工作总结与2024年度工作计划

转眼2023年即将走到尾声，当前大家估计都在忙着写各种年度总结吧。对数据团队来说，由于其独特的生态位置，较难用传统的收入或利润等硬性指标来衡量贡献，因此写好总结变得更为重要。这里就谈谈自己在写总结时的一些心得。1、导语在总结的最前面，一般要先讲下公司的战略部署和工作会议要求，对齐公司的战略很重要，例如以下的文字描述：集团公司在**会议上提出，要把握数字经济发展特征，顺应信息能量融合创新的时代潮流，...

2023-11-27 07:30:22 307

原创如何画一张人见人爱的应用架构图？

这篇文章表达了我对应用架构的最新理解，并且采用Archimate架构工具进行建模，力图画出最漂亮而专业的应用架构图，为了画图还专门去学习了Archimate，大家进来欣赏一下吧。下面也列出了我前期写的如何画业务架构、数据架构和技术架构图的文章，方便大家系统学习。怎样画一张人见人爱的业务架构图？如何画出一张清晰而专业的技术架构图？始于业务，终于技术，敲开理解数据架构的大门！一、企业架构全景图TOGA...

2023-11-15 07:30:35 453

原创如何最简单、通俗地理解GPT的Transformer架构？

OpenAI 最近开了自家的第一届开发者大会，发布的GPT-4 Turbo和GPTs等成果令人震撼。虽然国内各种大模型马不停蹄，但看了这个发布会，感觉跟ChatGPT的差距又变大了，ChatGPT是真的遥遥领先了。对于许多人来说，理解其背后的核心技术——Transformer模型仍然是一个挑战。您是否曾经好奇，是什么使得GPT能够如此精准地生成文本、回答问题，甚至编写程序代码？但Transform...

2023-11-13 07:30:23 137

原创如何打造一个大模型生成的数据目录？

今年以来，自己一直在做大模型应用方面的思考，在“智典”应用落地之际，今天就来跟大家分享一下我们在数据目录元数据自动生成方面的探索和实践。高质量的数据目录是企业高效开发利用数据的基础。经过多年构建的数据治理体系，我们的企业级数据目录已经建立起来。该目录自底向上包含三个层次：数据资源目录、数据资产目录和数据开放目录，各层都对应于数据处理生命周期的不同阶段，纳管的数据资源已经超过2万项。为了确保数据目录...

2023-11-06 07:30:30 386

原创如何画出一张清晰而专业的技术架构图？

最近发了几篇文章分别讲了业务架构、应用架构及数据架构（见文末链接），如果说业务架构定义了“我们需要做什么”，数据架构和应用架构描述了“我们将如何做到这一点”，技术架构则提供了“我们需要哪些工具和技术来实现这一目标”的答案。这次，我要系统化的谈谈技术架构的概念、视图和实践，这也是TOGAF架构系列的最后一篇。下图放了一张融合了业务架构、应用架构和技术架构各种组件的示意图，让大家对技术架构的生态位置有...

2023-10-23 07:31:52 1181

原创怎样画一张人见人爱的业务架构图？

在架构系列文章中，我写过一篇《把业务架构搞搞懂，才算敲开了理解业务的大门！》，在拜读了TOGAF后，我觉得有必要重写一篇业务架构的文章，重新阐述我对业务架构的最新理解。在这里，我会采用图、目录和矩阵的形式，附以27个案例，讲清楚业务架构的内涵。有了业务架构的加持，IT人员在落地数据、应用和技术架构时，将会有清晰的指引。我甚至认为，搞清楚业务架构，IT就成功了大半。对于业务人员来讲，能将自己的业务知...

2023-10-16 07:30:14 438

原创始于业务，终于技术，敲开理解数据架构的大门！

最近连发二篇文章分别讲了业务架构和应用架构，这是第三篇，即数据架构。数据架构是企业架构的核心部分，而对于很多人来说，理解其构建过程可能仍是一个难题。我之前为大家分享了《数据架构的本质到底是什么 by 傅一平》，详细解释了数据架构的概念。然而，很多读者更想进一步探讨的是如何构建出高效的数据架构。为此，我参考了TOGAF的指导原则，为大家整理出了数据架构的主要交付物，总结为九大核心制品：1、目录：数据...

2023-10-07 07:30:06 209

原创傅一平：2023年我的私人书单（上）

2023年一直在通过ChatGPT学习，读书少了，但不能不读。这里推荐上半年读过的TOP 9 书单，同时附上我的一句话评语和豆瓣的评分，涉及思考方法、系统架构、跨学科知识、沟通技巧、生活感悟、个人修养等等。TOP1佛畏系统-用系统思维全面提升你的决策力一句话评语：什么是中年油腻？就是这个人的价值观已经完成了，他再也没有了渴望，他认为他现在的价值观就是最好的了，他所有愿望都只不过是欲望，他鄙视...

2023-09-25 07:30:32 137

原创死磕了半天，终于搞懂了应用架构！

企业架构有四大支柱，分别是业务架构、数据架构、应用架构和技术架构，上次我写了一篇业务架构的文章《把业务架构搞搞懂，才算敲开了理解业务的大门！》，谈了对业务架构的粗浅理解，这次来讲讲应用架构。网上关于应用架构的资料非常碎，因此我找了企业架构开发方法的权威TOGAF作为参考，把应用架构的交付物和端到端流程全部走了一遍，图文并茂，希望尽量用浅显易懂的方法把应用架构讲讲清楚。一、企业架构全景图TOGAF（...

2023-09-18 07:30:19 403

原创把业务架构搞搞懂，才算敲开了理解业务的大门！

为了真正掌握业务的核心，我们需对其背后的框架进行深入探讨。这正体现了业务架构的至关重要性。业务架构不仅仅是业务的高层设计图谱，它还是数据、应用和技术架构驱动所在。随着当前数字化转型的推进，业务架构已逐渐变为跨领域流程设计的核心环节。以运营商为例，他们有一个叫做“地址查询变更”的业务功能。为了满足这一业务需求，资管系统和CRM系统各自构建了相应的应用功能模块，但这导致了数据不一致性的问题。从业务架构...

2023-09-04 07:30:07 388

原创从小学到高考：讲述我与儿子的成长故事

三年前，当儿子考上高中的时候，我就想着写一篇文章做纪念，然后写了一半就放弃了，因为初中阶段充满了遗憾。在儿子高一拿到好成绩时，我又想着写一篇文章以作鼓励，写了一半也放弃了，因为革命尚未成功。如今，在儿子将踏入大学的校门之际，我决心为这段日子，为他的成长，写下一些记忆。我总结不出来什么儿子的学习经验，自己所认识到的儿子的学习经验，在儿子看来并不是很真实，因为充满了主观腻断，他说：“学习就是很朴实无华...

2023-08-27 11:03:08 325 1

空空如也

空空如也