傅一平-CSDN博客

原创傅一平：论数据中台的“倒掉”

最近,朋友圈被"数据中台倒掉"的言论刷屏。有文章称《数据中台即将消亡，取而代之的是数智基建》,《Gartner分析：中国数智基建将取代传统数据中台》。这些观点引发了广泛讨论，但我认为其中不乏扯谈之处，这里给出我的思考和看法，大家耐心看完。一、"数据中台消亡论"的由来关于数据中台消亡的文章,多数引用了Gartner的一份报告。该报告是2023年发布的中国数据分析和人工智能技术成熟度报告。Gartne...

2024-09-09 07:30:40 1138

原创傅一平：2024年我的私人书单（上）

2024年一直在通过AI进行专业学习，占据了我几乎所有的业余时间。但缺点就是，AI太冰冷了，少了很多趣味。有时候会问自己，学习到底是为了什么？当然是为了让自己活得更好，无论是工作上的，生活上，身心上的。因此，我还是会去读些有温度的，治愈类的书籍，算是对冲一下。这里推荐上半年读过的TOP 8 书单，同时附上我的一句话评语和豆瓣的评分，涉及人生修行、方法论、AI、子女教育、沟通技巧、身体健康、人文历史...

2024-09-02 07:31:14 633

原创看不见的咒语，我如何让ChatGPT发挥出最大的价值？

使用ChatGPT已经一年半有余，陆续写过几篇使用GPT心得的文章，如下所示：没有读不懂的书，ChatGPT让我的理解力提升了1000%！我用ChatGPT搞懂GPT技术原理，只问了30个问题，这是极致的学习体验！问了ChatGPT 上百个问题后，我断定ChatGPT可以重塑学习范式！GPT 可以说已经是一个自身具足的智能，但是我们跟它交流还是得讲技巧和策略。现在有个专门研究怎么跟AI交流的学问叫...

2024-08-26 07:30:48 920

原创谈谈我关于数据资产入表的看法

现在大家都在提数据资产入表，这个事情意义很大，但由于横跨数据和财务两个领域的知识，不少人估计看不明白，或者说要彻底理解这个事情比较困难。今天就把这个事情的why和how讲讲清楚，我会结合案例尽量浅显易懂的表达，主要包括七个方面的内容：数据资产入表的重要性数据资源的会计处理原则数据资产入表的会计处理难点数据资源的分类及特点不同数据资源确认为资产的方法财务报表列示与披露无法入表的数据资产管理策略一、数...

2024-08-19 07:30:12 724

原创什么样的企业不适合做数据治理

"在数据治理的旅程中，最困难的不是技术挑战，而是改变人们的思维方式和工作习惯。但正是这种改变，最终将决定一个组织能否真正成为数据驱动的企业。" -Thomas C. Redman一、引言我跟很多数据治理咨询公司有合作或交流，这些合作伙伴参与了大量企业的数据治理咨询项目，这让我有机会了解到很多数据治理项目的实际情况。而我自己也在从事公司的企业级数据治理体系的建设，因此感触还是挺深的，应该来讲，当...

2024-08-12 07:30:33 822

原创我的2024年中工作总结

2024年上半年我的工作充满了挑战。在大模型上，多个模型齐头并进，进入鏖战阶段；在数据治理上，切入了数据安全的新赛道，数据一致性治理逐步深入；在业务赋能上，大道至简，找到了一种以与业务共舞的方法；在管理上，认识到了个人的局限，希望能授人以渔；以上所有工作的创新突破，都离不开学习，而AI则是我的月光宝盒。一、大模型的鏖战今年是大模型探索的第二年，我们按照不同类型,推进大模型在公司的应用建设和运营。1...

2024-08-05 07:31:08 614

原创傅一平：电信行业数据分类分级的实施方法与流程

数据分类分级作为数据治理的基础工作，不仅是满足法律法规要求的需要，更是提升数据安全水平、优化数据管理效率的关键手段。近日，国家标准GB/T 43697-2024《数据安全技术数据分类分级规则》正式发布，规定了数据分类分级的通用规则，为数据分类分级管理工作的落地执行提供重要指导。该标准将于2024年10月1日起正式实施。我将基于此标准，以电信企业的数据为例，介绍各行业数据分类分级的实施方法和流程，内...

2024-07-29 07:30:43 468

原创傅一平：大模型在数据领域的十大价值应用

世界人工智能大会刚刚结束，大家的一个共识就是做大模型应用。作为一名数据工作者，自己也一直在进行大模型应用的探索，下图列出的是我认为在数据领域具备潜力的十大价值应用：针对每个应用，我对其可落地性进行了评估，如下所示，五星代表非常靠谱，一星代表离实用还有距离。数据清洗和标准化：★★★★★ (5星)自然语言查询接口：★★★☆☆ (3星)数据分析和洞察生成：★★☆☆☆ (2星)元数据管理和数据目录增强：★...

2024-07-22 07:32:19 723

原创 IT管理者的自白：技术让我坐上了会议桌，但业务语言让我在桌前有发言权

前段时间跟几位IT界的朋友聊天，谈到了IT人员用业务语言阐述技术概念的重要性，感同身受。回来梳理思路，撰万字长文一篇。一、引言想象这样一个场景：周五下午，公司季度会议室。张工，一位才华横溢的高级软件工程师，正在向公司高层汇报他团队最新开发的人工智能算法。他滔滔不绝地讲述着"深度学习模型"、"神经网络架构"和"数据优化流程"。然而，随着他深入技术细节，他注意到CEO的眼神逐渐变得茫然，CFO开始频...

2024-07-15 07:30:50 1006

原创主数据如何成就业务？深入剖析与实际应用

想象一下,你正在经营一家跨国连锁咖啡店。每天,全球数千家门店都在使用你的品牌,制作相同的饮品,为客户提供服务。但是,你突然发现一个问题:纽约的"拿铁"和东京的"拿铁"配方似乎不太一样。更糟糕的是,你的线上菜单和实体店菜单显示的价格不一致,导致顾客困惑和抱怨。这就是缺乏有效主数据管理(Master Data Management, MDM)的后果。主数据管理就像是为你的企业建立一个中央指挥系统,确保...

2024-07-08 07:31:26 602

原创数据治理：一文讲透元数据

想象一下，你是一名考古学家，在广袤的沙漠中发现了一座失落已久的古代城市。每一块石头、每一片瓦片都可能隐藏着关于这个文明的无尽信息。然而，所有的文物和遗迹都散落一地，没有任何标记和说明。你能破解这些谜题，重现这座城市的辉煌吗？在现代数据驱动的世界中，我们面对的挑战类似于考古学家。这座“古代城市”就是我们庞大的数据存储库，而“元数据”则是解开这些数据奥秘的关键线索。元数据不仅是数据的“数据”，更是理解...

2024-07-02 07:31:10 1340

原创实战1年半，我总结的大模型在企业落地的三个策略

最近一周在公司总部参加大模型培训，之后总部组织了参培人员的交流发言，让大家谈谈大模型产品在省侧落地应用和AI人才发展的意见和建议。下面是我重新组织的当时的发言内容，共提了三个建议，主要是自己在做大模型过程中的一些反思。1、第一个建议，就是做大模型，一定要以业务导向，选择有主动意愿，一把手推动力很强的的业务部门来合作。去年以来我们做了不少大模型，例如ChatBI，ChatOA等，但都不能算成功。然而...

2024-06-24 07:30:13 1418

原创我整理的面向大模型的高质量语料集！

自己一直在做企业内部的垂类大模型，但随着运营深入，发现光有企业内部的领域数据还不足以微调出一个健壮的领域大模型，因为泛化能力比较弱。在领域数据中融入公共数据进行训练是公认的提升领域大模型泛化能力的方法，下面是我整理的面向大模型的六大类高质量语料集，共涉及20多个网上公开数据集（附有网址），希望对你有所帮助。一、文本数据集1、维基百科简介：免费的多语言协作在线百科全书，内容覆盖广泛，由志愿者社区编写...

2024-06-17 07:30:25 1121

原创每个人都该提前想想失业了怎么办？

“每个人都该提前想想失业了怎么办？”这个问题，看似是偶然的环境变化引起的。可能你这次运气好，躲过了公司的裁员风暴，但没有谁能保证下次你不在裁员的20%之内，因此探讨这个话题很有意义。我们工作中经常提规划的重要性，但对于上了年纪的人来说，最重要的是规划好自己的后半生。年纪大了，抗风险能力弱了，更需要为未来的不确定性做准备，特别是在当下就业环境不好的时候。前段时间我面试了一个从阿里出来的高P，他现在...

2024-06-11 07:30:37 779

原创数据治理：一文讲透数据标准

3年前自己写过一篇讲数据标准的文章《如何全面而深刻的理解数据标准？（理论+案例）》，但无论是体系化程度、分类方法的科学性、案例的详实程度等各方面都有很大不足。这次在AIGC的帮助下，我再写一篇，包括六个部分，如下所示，希望带给你全新的启示：第一部分数据标准的必要性数据标准的必要性体现在提高数据质量、促进数据共享、降低数据管理成本、提高数据维护性和扩展性，以及符合法规和合规要求等多个方面。通过数据...

2024-06-03 07:31:12 992

原创数据架构：90%的人搞不清的事情

数据架构可以说是数据工作的蓝图，我以为数据架构有标准的定义和内涵，但翻遍全网，发现业界对数据架构的认识并不完全一样。考虑到数据架构对于数据工作的极端重要性，在研究了众多文献后，结合自己的真实经历，我这里给出全新版本的数据架构图，见下图，共包括6大模块。为什么会是这些内容？它们的具体内涵是什么？下面听我道来。一、传统数据架构定义1、DAMA数据架构识别企业的数据需求，并设计和维护总蓝图以满足需求，使...

2024-05-27 07:30:49 1021

原创傅一平：如何成为一名顶尖的数据管理专家？

关于如何成为一名数据管理专家，今天我就来谈一谈自己的认识，算是一个系统总结吧。1、进入一个靠谱的平台小说作家，比如刘慈欣，即使不工作，他们也能靠自己丰富的想象力写出水平非常高的小说。而数据管理是一门数据科学，也是实践的学问，但无论是科学还是实践，都无法靠漫无边际的想象力达到顶尖水平。如果你有幸在一个研究机构，那可能会有研究数据管理的机会，但大部分的数据管理专家，还是来自于企业，因为企业提供了数据管...

2024-05-20 07:31:02 768

原创八个领悟：我在数据管理中的挑战与反思！

数据管理工作充满曲折和挑战，今天就来聊聊我当前面临的八大困境，分别是：大模型瓶颈、责权利不对等、组织架构缺陷、达摩克利斯之剑、扁平化悖论、数据不owner、完美的“坑”、冲动是魔鬼。同时也给出了我的一些思考，与大家共勉。1、大模型瓶颈从去年以来，我们团队陆续开发了智典、智能核稿、智乎、ChatOA、ChatBI、代码解释器等大模型应用，其中智典和智能核稿算是初战告捷。但ChatOA和ChatBI这...

2024-05-06 07:30:51 632

原创数据安全：一文读懂隐私计算

让我们从一个生动的故事入手：想象两位百万富翁偶然在街头相遇，他们各自都想夸耀自己的财富，又不愿透露具体的财务状况。他们面临的挑战是，如何确定谁更富有而不泄露各自的具体数字。这其实是隐私计算技术面临的一种经典问题。隐私计算是一组技术和方法，它们使我们能够在保护数据主体隐私的前提下，安全地存储、处理和分析数据。这些技术确保数据在加密或其他形式的保护下进行处理，从而在整个处理过程中保障数据内容的安全与隐...

2024-04-22 07:31:32 1595

原创一图看懂数据仓库、数据平台、数据中台、数据湖的内涵和区别！

当大数据平台出现的时候，有人是说这不就是大号的数据仓库吗？当数据中台出现的时候，有人说这不就是数据仓库的进一步包装吗？数据湖的出现更是让很多人陷入困惑。事实上，数据仓库、数据平台、数据中台、数据湖还是有区别的，不仅在技术架构上，更是体现在业务的支撑模式上。下面我先用一张图简单示意这四个概念的区别（省略了数据管理等相关组件），其中绿色背景代表数据中台、黄色代表数据平台、灰色代表数据仓库及橙色代表数据...

2024-04-15 07:30:15 1059

原创搞定数据治理：12招流程、2类神器、9项软技能 | DGI数据治理（六）

DGI(Data Governance Institute)是我看到过的最棒的数据治理框架，这是DGI数据治理框架系列的第6篇文章，错过了前面的精彩内容？点击下面链接抓紧补课！（1）一文详解数据治理的5W1H | DGI数据治理(一)（2）一文详解数据治理框架图 | DGI数据治理(二)（3）一文详解数据治理的使命和价值 | DGI数据治理(三)（4）一文详解数据治理的受益者 | DGI数据治理(...

2024-04-08 07:31:02 565

原创解锁企业架构：漫画版TOGAF框架，让初学者也能游刃有余！

TOGAF是由The Open Group开发的一个高度著名的企业架构框架。它旨在帮助组织通过提供一套系统化的方法来设计、规划、实施和管理企业架构。但TOGAF架构框架并不容易系统化掌握，诸如构件、构建块、内容元模型、连续体等诸多概念也比较抽象。因此，这次我打算采用漫画和类比的方式，以五分钟的极短篇幅，来清晰讲述TOGAF架构框架的核心概念及其结构，希望能让每个人都能领略到TOGAF的精妙之处，当...

2024-04-01 07:30:43 756

原创一文读懂数据治理5大成果，让数据从“资源” 变 “资产” | DGI框架揭秘（五）...

DGI(Data Governance Institute)数据治理框架是屹今为止我看到过的最棒的数据治理框架，这是DGI数据治理框架系列的第５篇文章，错过了前面的精彩内容？点击下面链接抓紧补课！（1）一文详解数据治理的5W1H | DGI数据治理(一)（2）一文详解数据治理框架图 | DGI数据治理(二)（3）一文详解数据治理的使命和价值 | DGI数据治理(三)（4）一文详解数据治理的受益者 ...

2024-03-27 07:34:05 711

原创数据治理的真经（PPT）

数据治理直接成就业务很难，而企业数据一致性的数据治理是我认为最接近业务的一次，因此叫取了数据治理的“真经”。我们做这次企业数据一致性治理主要有四个旅程碑，体现了做企业数据治理的主要工作，分别是：1、明确工作的总体思路2、完成问题分析和汇报3、督促各部门进行整改4、做好常态化运营工作接下来，我将以PPT的形式展示这些里程碑的主要成果，呈现我们在本次数据治理中的完整历程，希望能为大家提供有益的启示。阶...

2024-03-18 07:30:57 777

原创数据治理如何"酒香不怕巷子深"？6大价值+3大陷阱全解析 | DGI框架揭秘（四）...

DGI（Data Governance Institute）数据治理框架是屹今为止我看到过的最棒的数据治理框架，这是DGI数据治理框架系列的第4篇文章，错过了前面的精彩内容?点击下面链接抓紧补课!（1）一文详解数据治理的5W1H | DGI数据治理（一）（2）一文详解数据治理框架图 | DGI数据治理（二）（3）一文详解数据治理的使命和价值 | DGI数据治理（三）本文介绍该框架10个组件的第2个...

2024-03-11 07:30:10 778

原创为什么数据治理很难直接成就业务？

数据要素正逐渐成为生产资料的一部分，这促使越来越多企业开始重视数据治理。然而，随着数据治理工作的推进，许多团队发现直接展现其价值颇为困难。有些人开始质疑数据治理的实际效用，认为它被过分夸大。为何数据治理会留下这种印象？结合自己的实践和分析，我认为主要是由数据治理的间接性、抽象性、长期性、变革性等特点导致的，同时受到业务鸿沟和利益博弈的影响。接下来，我将详细剖析原因，并探索可能的解决之道。首先、数据...

2024-03-04 07:30:31 988

原创一文详解数据治理的使命和价值 | DGI数据治理（三）

DGI（Data Governance Institute）数据治理框架是屹今为止我看到过的最棒的数据治理框架，我所实践的数据治理内容，大都没有逃脱这个框架，因此推荐给你。为了方便大家读懂DGI框架，一方面我摘取了DGI数据治理框架[1]每个章节最核心的内容要点，方便大家速览，另一方面，我会结合实践，给出自己的解读和详细说明案例。这是DGI数据治理框架系列的第三篇文章，将介绍该框架10个组件的第1...

2024-02-27 07:30:44 1305

原创没有读不懂的书，ChatGPT让我的理解力提升了1000%！

新春假日AI领域并不平静，屡屡搞出王炸。前有英伟达发布的Chat with RTX，即每个人都可以利用自己的算力和数据做私有的ChatGPT，后有OpenAI全新发布的文生视频模型Sora，即将永久改变内容创作行业。但这些跟当下的大多数人有什么关系呢？有人会说娱乐，嗯，的确是的，但还有一样隐藏之下，那就是学习。ChatGPT将大幅提升每个人自学的能力，能提升多少倍呢？我说ChatGPT可以让你从原...

2024-02-18 07:30:16 543

原创关于数据治理十大魔鬼问题的经典回答！

本文列出了我碰到过的关于数据治理最为棘手的十大问题，并且给出了回答，细品！同时，祝大家新春快乐，与数据同行伴你同行！1、我是一个IT人员，发现系统中有很多同名不同义的指标，了解到这是由于不同部门的人员定义造成的，请问该如何解决这类问题？面对系统中存在的同名不同义指标问题，作为IT人员，可以通过以下步骤来解决这个问题：（1）指标审计收集现有指标：汇总系统中所有的指标及其定义、使用场景和负责部门。识别...

2024-02-08 09:55:04 1036

原创从业务到数据，大模型应用成功的再思考！

作为一名数据团队的管理者，已经带着团队入局大模型一年有余，关于大模型应用方面的探索，自己在《业务为王，大模型应用的探索和思考！》一文中进行了介绍。其实不只是我们，相信很多数据团队也在进行大模型应用的尝试，大家都认为这是一次机会。客观的讲，数据团队搞大模型，挑战还是很大的，我这里主要谈谈自己团队当前面临的挑战，同时也谈谈初步的解决思路，供大家参考。第一，就是想清楚why和what，寻找最合适的，最细...

2024-02-04 07:30:11 1437

原创一文详解数据治理框架图 | DGI数据治理（二）

在第一篇《读透数据治理：DGI框架全解（第一章）》中我对数据治理的六个问题进行了诠释，本篇将正式介绍DGI数据治理框架图，这是当前关于DGI数据治理框架最新最全面的解读。我们为什么需要数据治理框架呢？所有组织都需要制定关于数据管理、价值实现、成本与复杂性降低、风险管理以及遵守日益增多的法律和监管要求的决策。数据治理框架提供了一套管理数据资产的政策、程序、标准和指标，帮助组织明确复杂或不明确的概念。...

2024-01-30 07:30:26 1275

原创读透数据治理：DGI框架全解（第一章）

数据治理的重要性不言而喻，但许多人却难以区分数据治理与数据管理的区别。这是一个严重的问题，因为这两者的使命和价值截然不同。尽管像DAMA、DCMM和《华为数据之道》这类读物都对数据治理有所论述，但客观来讲，它们在系统化方面仍显不足，更多的是关于数据管理的内容。以DAMA的经典车轮图为例，数据治理仅占其中一个章节，DAMA的中文翻译也叫数据管理框架，不少人会误将数据治理视为数据管理的一部分。《华为数...

2024-01-22 07:31:51 1455

原创数据治理：数据安全100个基本概念全解

根据DAMA的定义，数据安全指定义、规划、开发、执行安全策略和规程，以提供对数据和信息资产的适当验证、授权、访问和审计。数据安全的目标有三个：启用对企业数据资产的适当访问，并防止不适当的访问理解并遵守所有有关隐私、保护和保密的法规和政策确保所有利益相关方的隐私和保密需求得到执行和审计在《数据治理：一文讲透数据安全》一文中，我对如何实施数据安全进行了相对宏观的介绍。本文将从微观入手，对104个数据安...

2024-01-15 07:30:22 1683

原创数据治理：一文讲透数据安全

数据安全是数据治理的核心内容之一，随着数据治理的深入，我不断的碰到数据安全中的金发姑娘问题（指安全和效率的平衡）。DAMA说，降低风险和促进业务增长是数据安全活动的主要驱动因素，数据安全是一种资产，这是很好的观点。我决定系统化的去学习一下数据安全知识，因此重新研读了DAMA、DCMM、相关书籍的数据安全内容，在此基础上，尝试用更系统化、通俗化、案例化的方式讲清楚数据安全到底是什么，希望带给大家新的...

2024-01-08 07:30:24 1405

原创 2024年，我的数据工作计划

2023年已经过去，以下是我关于2024年数据工作的初步思考，包括企业数据一致性治理、业务对象建模、数据民主化、实时决策、业财融合、B端数据分析、数据治理变现及大模型应用等八项工作，特此分享。1、企业数据一致性治理很多人在讲数据治理与业务的关系有点远，企业数据一致性治理则是直接呈现数据治理价值的一种方式，比如，解决用户订单和开通平台的数据不一致就会降低公司的经营风险，这种效益是非常直接的。但传统的...

2024-01-02 07:30:31 996

原创为了搞懂数字化转型，我连问 ChatGPT 42个问题，通透！

我对数字化转型有很多的疑问，这次向ChatGPT请教，连问42个问题，瞬间觉得通透了很多。下面是我的问题和ChatGPT的回复，近3万字，估计已经可以汇编成一本名叫《数字化转型问题答疑集》的小册子了，共分为概念篇、方法篇、实践篇和数据篇，希望能带给你新的启示！一、概念篇1、数字化转型到底是什么？数字化转型是指组织利用数字技术全面改造其业务运营、管理方法、客户互动和整体商业模式的过程。这个概念涵盖了...

2023-12-11 07:31:04 462

原创业务为王，大模型应用的探索和思考！

大模型出来后，自己就一直在思考大模型在公司的应用场景，也特别希望大模型在数据治理领域有所作为，至今已有大半个年头，今天就跟大家来聊聊这个探索之旅，共分为七个阶段：1、ChatGPT的启蒙2、“智乎”问答的幻象3、ChatBI能力之殇4、完美的“智典”场景5、智能核稿的考验6、实践的六个总结7、后续工作的思考1、ChatGPT的启蒙自己从事数据相关工作，经常碰到各种问题，ChatGPT出现后，其强大...

2023-12-05 07:30:24 322

原创数据团队如何编写2023年度工作总结与2024年度工作计划

转眼2023年即将走到尾声，当前大家估计都在忙着写各种年度总结吧。对数据团队来说，由于其独特的生态位置，较难用传统的收入或利润等硬性指标来衡量贡献，因此写好总结变得更为重要。这里就谈谈自己在写总结时的一些心得。1、导语在总结的最前面，一般要先讲下公司的战略部署和工作会议要求，对齐公司的战略很重要，例如以下的文字描述：集团公司在**会议上提出，要把握数字经济发展特征，顺应信息能量融合创新的时代潮流，...

2023-11-27 07:30:22 321

原创如何画一张人见人爱的应用架构图？

这篇文章表达了我对应用架构的最新理解，并且采用Archimate架构工具进行建模，力图画出最漂亮而专业的应用架构图，为了画图还专门去学习了Archimate，大家进来欣赏一下吧。下面也列出了我前期写的如何画业务架构、数据架构和技术架构图的文章，方便大家系统学习。怎样画一张人见人爱的业务架构图？如何画出一张清晰而专业的技术架构图？始于业务，终于技术，敲开理解数据架构的大门！一、企业架构全景图TOGA...

2023-11-15 07:30:35 568

原创如何最简单、通俗地理解GPT的Transformer架构？

OpenAI 最近开了自家的第一届开发者大会，发布的GPT-4 Turbo和GPTs等成果令人震撼。虽然国内各种大模型马不停蹄，但看了这个发布会，感觉跟ChatGPT的差距又变大了，ChatGPT是真的遥遥领先了。对于许多人来说，理解其背后的核心技术——Transformer模型仍然是一个挑战。您是否曾经好奇，是什么使得GPT能够如此精准地生成文本、回答问题，甚至编写程序代码？但Transform...

2023-11-13 07:30:23 175

空空如也

空空如也