- 博客(274)
- 资源 (1)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 Flink在金融行业实时计算应用
摘要：Flink凭借低延迟、高吞吐等特性成为金融实时计算的核心引擎，主要应用于三大场景：1）实时交易分析与监控，通过CEP和聚合计算捕捉市场机会；2）实时风险管理，实现毫秒级反欺诈和信用评估；3）实时客户洞察，提供个性化服务。实施需解决端到端一致性、高可用等挑战，建议分阶段推进。Flink正推动金融行业向智能化、敏捷化方向发展，未来与AI的深度结合将进一步释放其价值。（149字）
2026-01-06 11:42:09
893
原创 DeepSeek部署在本地电脑
作为一款现象级的Ai产品，用户量暴增，最近服务器又被攻击，使用DeepSeek，经常出现服务器繁忙，将DeepSeek部署在本地电脑就方便很多。3、选择对应的模型来下载，1.5b、7b、8b、14b、32b、70b或671b，这里有很多版本可选，模型越大，要求电脑内存、显卡等的配置越高。通过以上三步，DeepSeek就部署在本地电脑上了，有些不方便公开的数据，比如实验数据，可以通过部署大模型到本地的方式进行处理，不用担心数据泄露。2、进入就可以看到deepseek-r1模型，如果没有，在搜索栏搜索即可。
2025-02-07 08:57:54
902
1
原创 Spring Boot 整合 Spring AI 实现项目接入ChatGPT(OpenAl的调用）
第四种：聊天的程序的第三种实现方式（调用stream方法，用法和call一样，只不过返回值不一样,Stream返回的是Fiux，叫做数据的序列一序列的数据，一个一个的数据返回，调用Stream叫做流式API）4.1 因为所有的接口的父接口都继承与Model，可以看到聊天方式的实现就是注入OpenAiChatModel 因为这个springboot自动装配的功能，只需要注入即可。第三种：聊天的程序的第三种实现方式（比上一个方法多了一个关于gpt参数的设置）第三步：配文件(这个的api -key就是你自己的)
2024-08-19 10:42:31
3287
原创 Python爬虫：原理与实战
在当今的信息时代，互联网上的数据如同浩瀚的海洋，充满了无尽的宝藏。Python爬虫作为一种高效的数据抓取工具，能够帮助我们轻松地获取这些数据，并进行后续的分析和处理。本文将深入探讨Python爬虫的原理，并结合实战案例，帮助读者快速掌握爬虫技术。如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物（数据）爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序。从技术层面来说就是 通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/J
2024-03-15 11:23:41
2955
1
原创 基于LDA主题模型文本分类
项目场景：以微博为数据源，分析新冠疫苗舆情的主题演化和情感波动趋势，结合时事进行验证，从而得出特殊事件对于舆情的特定影响，为突发公共事件的社交媒体舆情合理引导提供建议。所以想要生成一篇文章，可以先以一定的概率选取上述某个主题，再以一定的概率选取那个主题下的某个单词，不断重复这两步就可以生成最终文章。LDA主题模型主要用于推测文档的主题分布，可以将文档集中每篇文档的主题以概率分布的形式给出根据主题进行主题。，通过分析一些文档抽取出它们的主题（分布）出来后，便可以根据主题（分布）进行主题聚类或文本分类。
2023-07-21 16:53:34
5497
原创 交互式分析一体化Trino深度测评
本文深入分析了Trino（原PrestoSQL）容错执行架构（FTE）的性能表现与业务价值。测试表明：1）在资源不足场景下，Task容错能显著提升SQL执行成功率（1TB数据集通过率100%）；2）并发场景中，Task容错可提升引擎并发上限；3）横向对比显示，开启容错的Trino性能约为Spark的3倍。华为云HetuEngine基于三层架构进一步优化，实现了自动故障恢复、弹性扩缩容和智能资源管理。研究证明，Trino容错模式有效突破了MPP引擎的局限性，为批处理-交互式分析一体化提供了可行方案，在云原生环
2023-07-20 17:29:49
1441
原创 信创背景下主流大数据平台CPU架构解析
在信创产业向“全栈自主可控”深度推进的背景下，大数据平台作为数字基础设施的核心组件，其对国产CPU架构的兼容能力直接决定了项目落地可行性与长期安全性。当前信创场景主流CPU架构形成了X86（兼容路线）与ARM（自主创新路线）双核心格局，其中ARM架构凭借低功耗、高并发及生态开放性优势，成为鲲鹏、飞腾等国产芯片的核心技术底座，而X86兼容架构则依托成熟生态承担过渡角色。以下结合主流大数据平台，解析其CPU架构支持特性及信创适配价值。
2023-06-16 10:53:20
4072
原创 CDH/HDP迁移星环大数据产品TDH
通过8种独立的存储引擎，支持业界主流的10种存储模型：关系型数据存储、宽表存储、搜索引擎、地理空间 存储、图存储、键值存储、事件存储、时序存储、文本存储、对象存储。星环科技TDH已完成与主流信创生态厂商的适配互认工作，适配长城飞腾、华为泰山、浪潮等服务器，鲲鹏、飞腾CPU，麒麟、统信等OS，并有官方认证，支持基于ARM与X86服务器服务器混合部署并有落地案例，满足信创验收要求。TDH的多模架构，支持关系表、文本、时空地理、图数据、文档、时序等在内的10种数据模型；整个易用性、开发效率和运行效率都提高很多。
2023-06-02 15:45:57
2011
1
原创 Flink + Iceberg打造流批一体的数据湖架构
对于数据湖架构来说，数据文件在HDFS的分布组织是由写入任务决定的，而对于分布式数仓来说，数据一般是通过JDBC写入，数据的存储组织方式是由数仓本身决定的，所以数仓可以按照对于查询更加友好的方式组织数据的存储，比如对数据文件定期compact到合适的大小或者对数据进行合理排序和分组，对于大规模的数据来说，数据的优化组织可以大大提高查询的效率。在这里需要做一个概念上的澄清：数据湖关注的是对原始数据高效、灵活的处理，DWD 及其他数仓分层是充分设计的数据模型，它并不符合我们对数据湖的定义和需求。
2023-03-10 17:44:44
6645
原创 深度解析：为何Kafka及消息中间件不直接使用HTTP协议？
消息中间件为何弃用HTTP协议？本文从性能、可靠性、灵活性三方面分析原因。Kafka等主流中间件选择TCP自定义协议或HTTP2.0+Protobuf组合方案，主要考虑：1）二进制协议比HTTP文本协议解析效率更高；2）TCP支持多路复用等高级特性，更适合高并发场景；3）HTTP头部冗余开销影响小消息传输效率。此外，HTTP协议在连接稳定性、消息持久化、特殊功能适配等方面存在不足。虽然部分中间件通过gRPC间接使用HTTP2.0，但核心通信仍依赖定制化协议，以满足高吞吐、低延迟的核心需求。协议选择本质是场景
2023-02-08 13:20:56
2612
原创 大数据平台选型与建设全流程指南
本文系统介绍了企业大数据平台建设的关键要素，从平台选型到可视化方案提供全面指导。在平台选型方面，分析了CDH、HDP、CDP等主流平台的特点及适用场景；调度工具推荐了DolphinScheduler、Airflow等5类方案；数仓架构提出离线、实时和Lambda三种模式；数据采集对比了DataX、Canal等工具；可视化方案介绍了FineBI、Superset等商业和开源工具。针对不同规模企业，给出了从中小型企业到大型政企的完整建设路径建议，强调应根据业务需求和技术能力选择最适合的解决方案。
2023-02-01 11:15:12
8487
1
原创 X86 与 ARM 架构：主流 CPU 架构的差异与发展
X86与ARM架构对比及国产芯片发展现状 X86（CISC）和ARM（RISC）是全球两大主流CPU架构，分别主导PC/服务器和移动终端市场。核心差异体现在：X86追求高性能但功耗高，ARM注重低功耗但需复杂编译器。近年来ARM凭借能效优势开始进军服务器领域。国产厂商中，海光、兆芯采用X86架构，鲲鹏、飞腾基于ARM，龙芯、申威则走自研路线。未来X86仍将主导高性能市场，而ARM有望进一步扩展应用场景，国产自研架构则代表完全自主化的发展方向。
2022-11-24 19:45:51
18601
1
原创 企业内外网数据同步解决方案
企业内部，一般对U盘/移动硬盘的使用有所限制，所以一般是指定少数有权限的人，经常是IT部门，负责通过移动硬盘在内外间，按照业务部门的要求，进行数据拷贝。采用创新的数字包裹概念，可以将待处理和交换的一个批次的业务文件封装进一个安全数字包裹，并且生成一个包含包裹内容信息（发货清单）和投递信息（快递单）的包裹元数据，可以确保一个批次业务数据的完整性和正确性，同时可以防止后续的篡改行为。不过，这些传统跨网络的数据移动方式，很难满足企业对于内外网文件交换的安全、高效、便捷、管理等方面的需求。，没有办法取得内网文件。
2022-11-12 19:07:50
5468
原创 HostMonitor监控软件
Host Monitor是KS-SOFT公司出品的一套安装在Windows上的网络监测工具，据官方网站的介绍，Host Monitor提供了56套测试工具和27种报警动作，能够定时监控目标主机Windows Server和各个版本的Linux上任何TCP服务、UDP、网络连通状态(Ping)、路由(Route)、DNS、FTP、SMTP、POP3、端口(Port)、URL以及Web Service、SQL Server、数据库表空间大小、硬盘空间、文件及文件夹大小、网络流量等指标，支持远程监控。
2022-10-19 15:23:20
3155
原创 Django--基于Python的Web应用框架
Django是一款基于Python的开源Web框架，遵循"内置电池"设计理念，提供ORM、认证系统、后台管理等完整功能，支持快速开发企业级应用。本文详细介绍了Django的MTV架构模式、核心特性（强大的数据库支持、自动化后台等）、优势（开发效率高、安全性强）与不足（学习曲线陡），并与其他Python框架进行对比。文章还包含环境配置、项目创建、登录验证等实战内容，以及适用场景和最佳实践建议。Django适合构建复杂Web应用，但对小型项目可能过于厚重。
2022-09-27 19:56:53
21450
2
原创 企业微信发送消息--Python
在使用应用消息推送的api时候，发送图片消息需要我们提供图片的media_id值，以此来获取我们要发送的图片。Python代码主要使用requests库，将企业微信API进行简单封装，模拟https的GET、POST操作，向指定的用户发送企业微信消息。Python代码主要使用requests库，将企业微信API进行简单封装，模拟https的GET、POST操作，向指定的用户发送企业微信消息。其中，corpid为企业id，可以在企业微信网页后台的“我的企业”——>“企业信息”——>“企业ID”中看到。
2022-09-01 22:03:37
8497
2
原创 如何使用Python进行批量文件整理
引言 ” 批量文件整理一直是日常工作中令人头疼的事，使用 Python 进行大批量文件整理，可以大大提升工作效率。我们在制作文件清单后，可以使用excel进行便捷的文件名统一调整（如去空格，增加头尾字段等）。在文件整理统计时，经常要给文件名添加序号，在上面保存文件清单的过程，我们可以看到脚本的默认排序保存是按首位数字排序，在此我们可以通过补零来保证按数字大小排序。我们在excel对文件名进行筛选后，将是否删除列为1的文件删除，保留为0的文件（如图）。获取文件名，并将序号和文件名写入 excel。......
2022-08-31 22:12:11
3854
原创 GBase 数据库：特性、产品体系及与 Oracle/MySQL 的区别
GBase 数据库凭借分布式架构、列存储优势、国产化适配能力，在海量数据处理、高安全需求、国产化替代场景中表现突出。与 MySQL 相比，它更适合大数据分析；与 Oracle 相比，它具备功能全、成本低、合规性强的特点。随着国产数据库技术的不断成熟，GBase 已成为政府、金融、能源等行业数字化转型的重要选择。企业在选型时，需结合自身业务场景 ——OLTP 场景可优先考虑 GBase 8t，OLAP 场景首选 GBase 8a Cluster，高安全需求场景则可选择 GBase 8s。
2022-08-29 20:45:52
15005
原创 OLAP(三)：Doris
1.编写测试程序1,无限循环通过Spark restful API 提交任务到spark集群运行,每个任务申请worker数1个,cpu:1核,内存:1g,driver端 cpu:核,内存1g,程序只提交spark任务不进行任务读取文件和处理分析操作,申请到资源就立马释放。4.编写测试程序4,提交2个任务,第一个任务先提交并申请spark集群50%资源,然后提交第二个任务,第二个任务也要获取spark集群50%资源。4.若提交一个任务,spark集群只能满足其一部分申请,这个任务该如何进行。......
2022-08-27 23:40:08
2374
原创 Impala优化，并发性能问题，压测
在进行impala性能测试的过程中，从测试结果发现impala的并发性能非常差。1.1 环境信息测试的环境配置如下：服务器内存：250G;CPU ： 2个CPU，每cpu 6个物理核，逻辑核数24；带宽：万兆网口节点个数：3数据：TPC-DS生成的100G数据集，把数据导入parquet格式的hive表中。..........................................
2022-08-27 17:13:05
5639
原创 spark实现sqoop从oracle导数据到hive
有时候oracle中的数据中会存在换行符（" \n "）然而hive1.1.0中数据换行默认识别的也是\n，最坑的是还不能对它进行修改（目前我没有查出修改的方法，大家要是有办法欢迎在评论区讨论）那我只能对数据进行处理了，以前使用sqoop的时候也有这个问题，所幸sqoop有解决换行符的语句，，，，巴拉巴拉，，，扯远了。其中--jars 是指定连接oracle的驱动，ojdbc7.jar对应的是oracle12版本，--master local /...指定的是运行的python文件。.........
2022-08-26 22:29:17
2616
原创 数据沙箱在大数据生产、测试物理集群隔离场景中最佳实践
大数据平台不仅需要稳定地运行生产任务，还需要提供数据开发的能力。因此，不少大数据平台都会为每个任务区分开发模式与线上模式，可以通过提交上线的方式，将开发模式任务提交到线上，让其用于线上数据生产工作。开发模式与线上模式其实可以看成两个代码相似，但完全独立的任务，为了便于后续描述，将其分别称为开发模式任务与线上模式任务。开发模式下的任务可以进行编辑、运行、调试。当任务开发完毕后，通过提交上线功能，将开发模式的任务提交到线上，也即使用开发模式的任务代码覆盖原本的线上模式任务代码。
2022-08-21 21:54:55
3097
原创 Python 实现完整股票量化交易策略
本文介绍了一种基于股票跨期相关性的量化交易策略实现方法。通过分析沪深300成分股的历史数据，计算股票A当日涨跌幅与股票B昨日涨跌幅的相关性，筛选出联动性最强的股票组合（如上海临港与民生银行）。策略采用2020年数据建模，2021年数据测试，遵循"先行股上涨则次日买入跟随股"的交易规则。回测结果显示该策略在测试期获得5.858%的正收益，最大回撤仅2.26%，跑赢同期沪深300指数。文章详细展示了从数据获取、策略构建到回测评估的完整流程，并提出了扩大样本周期、优化筛选规则等改进方向。文中所
2022-08-20 21:45:27
5083
1
原创 一文读懂Token：身份验证的核心利器与JWT实践
本文深入解析了Token身份验证机制及其主流实现方案JWT。Token作为客户端的"身份通行证"，通过唯一字符串替代传统账号密码验证，解决了Cookie+Session认证的服务器压力大、跨域限制和安全风险高等痛点。文章详细阐述了Token的六步验证流程、生成逻辑及JWT的结构组成（Header、Payload、Signature），重点分析了JWT在身份认证和单点登录中的优势：无状态、自包含信息、可靠签名机制。最后指出实际应用中需注意合理设置过期时间、采用安全算法等关键要素，以充分发挥
2022-08-15 20:23:16
5488
原创 权限管理系统设计方案
用户和角色，角色和权限都是多对多的关系，这种模型是最通用的权限管理模型，节省了很大的权限维护成本， 但是实际的业务千变万化，权限管理的模型也需要根据不同的业务模型适当的调整，比如一个公司内部的组织架构是分层级的，层级越高权限越大，因为层级高的人不仅要拥有自己下属拥有的权限，二期还要有一些额外的权限。这种模型能够满足权限的基本分配能力，但是随着用户数量的增长，这种模型的弊端就凸显出来了，每一个用户都需要去分配权限，非常的浪费管理员的时间和精力，并且用户和权限杂乱的对应关系会给后期带来巨大的维护成本。
2022-08-14 18:14:48
5778
原创 两表对比脚本CheckData
#! /bin/bash# sh /data/disk1/workspace/group_sjzt/bigdata_zdev/cxp/check/CheckData_test.sh CK_ZDEV.CLAIM_CALCULATE_DETAIL_nocar CK_ZDEV.CLAIM_CALCULATE_DETAIL -k calculate_detail_no calculate_id -d Etl_Upd_Dttm $current_date &Usage(){ echo "脚本名称: $sh_
2022-08-12 21:14:50
458
原创 Python量化交易
dit={'111':'重要价值客户','011':'重要保持客户','101':'重要挽留客户','001':'重要发展客户','110':'一般价值客户','010':'一般保持客户','100':'一般挽留客户','000':'一般发展客户',df.groupby(by='user_id').sum().query('order_amount ..................
2022-08-12 21:13:24
2841
原创 DAMA-总结（数据管理的总结）
数据管理利益相关方涉及众多，数据生产者、数据开发者、数据使用者，且大家核心目标是不一致的，生产者保证线上业务的连续性、开发者保证数据需求的完整性、使用者保证数据使用的有效性，看似都与数据有关、但却各自关注点大相径庭。，一开始的架构都是简洁明了的，然而随着组织业务不断的发展、人员的不断变更使得架构系统变得臃肿，难以为继。对外需要争取组织高层和数据消费者的支持，很多跨团队合作的业务需要自上而下，最终的数据消费者也是一个非常重要的部分，他们是数据的直接使用者，如果脱离他们的应用，数据价值就是空中楼阁。......
2022-07-17 09:17:00
2259
原创 DAM-第十三章（数据质量管理）
导致数据质量低下的因素很多，主要包括组织缺乏对低质量数据影响的理解、缺乏对数据的规划、孤岛式的业务&数据系统设计、不一致的开发过程、不完整的文档、缺乏标准或缺乏治理等。大多数组织都有大量的数据，但并非所有的数据都有同等的重要性。并非所有的数据都有同等的重要性，数据质量管理工作应首先关注最重要的数据如果数据价值更改，并将组织及其客户提供更多的价值。为了保证数据质量，应围绕数据质量方案制定一个实施计划，允许团队管理数据质量规则和标准、监控数据和规则的持续一致性、识别和管理数据质量问题，并报告质量水平。.....
2022-07-17 09:16:30
681
原创 DAMA-第十二章（元数据管理）
元数据本身也是需要进行管理的，由于元数据的特殊性，和应用场景的局限性，往往难以受到广泛的业务重视，所以不仅需要元数据管理者具备高度的专业能力和深度的投入，也需要企业高层对实践活动的支持。元数据存储库硬蛋将提取的技术元数据与相关的业务、流程和管理元数据集成在一起，可使用适配器、扫描仪、网桥应用程序或直接访问源数据存储中的方式来提取元数据。元数据可以帮助组织理解其自身的数据、系统、流程，同时帮助用户评估数据质量，有助于处理、维护、集成、保护和治理其他数据，对数据库和其他应用程序的管理来说是不可或缺的。.....
2022-07-17 09:15:21
922
原创 DAMA-第十一章（数据仓库与商务智能）
可通过协作工具进行这项工作，通过卓越中心监控活动确保创建的内容保留在逻辑模型中，确保面向业务的内容与面向技术的物理模型之间保持一致，降低下游错误和返工的风险。数据仓库是数据建设的核心，是数据集中处理的场所。大部分关于数据仓库构建的讨论，都受到两位有影响力的思想领袖BillInmon和RalphKimball的影响，他们在数据仓库建模和实施上各有不同的方法和思想。操作型商务智能的出现推动了更低延迟的需求，将更多实时的或准实时的数据集成到数据仓库中，新的架构方法随之出现，用于处理易变化的数据。......
2022-07-16 17:04:38
746
原创 DAMA-第十章（参考数据与主数据）
参考数据是指可以用于描述或分类其他数据，或者将数据与组织外部数据联系起来的任何数据）和主数据（主数据是有关业务实体的数据，如雇员、客户、产品、金融结构、资产和位置、业务行为流程）。并根据参考数据和主数据的特性和异同分别进行相应的管理和规整，以此提升组织的数据质量，增强组织的数据能力。主数据代表与关键业务实体有关的、权威的、准确的数据。主数据代表与关键业务实体有关的、权威的、准确的数据，是组织数据的主要载体，且一般数据体量较大，是组织活动的主要信息载体，可以理解为我们常说的。...
2022-07-16 17:00:56
1148
原创 DAMA-第九章（文件与内容管理）
文件和内容是指存储在关系型数据库之外的数据和信息，这部分信息是整个数据领域的重要部分，由于文件和内容的特殊性，该部分数据的主要操作涉及相应的存储、管理、访问，中间处理过程相对较少，因此篇幅较为有限，且解释性内容较多（按照CDMP考试认证的占比高达11%）。本章主要讲述文件和内容的管理，全文首先从文件和内容的概念讲起，阐述文件和内容管理的驱动因素和相应需要遵循的原则，并对相关的专业术语进行了较为全面的介绍（有些枯燥），并对整个管理活动的流程、所需工具等做了简述。计划中应考虑内容的驱动因素、内容创建和交付等。.
2022-07-16 16:58:02
848
原创 DAMA-第八章（数据集成与互操作）
批量数据集成的流程编排将设定数据移动和转换的频率。数据血缘对于数据集成和互操作解决方案的开发非常有价值，治理需要确保记录数据来源和数据移动的信息，数据共享协议可能规定了数据使用的限制。数据集成是将数据整合成物理的或者虚拟的一致格式，数据互操作是多个系统之间践行通信的能力，数据集成和互操作的解决方案提供了大多数组织所以来的基本数据管理职能。将数据从各原系统抽取到对应的数据集成中心中进行处理加工，经过一系列的格式转化、标准统一、逻辑处理之后得到标准通用的数据，以此提供给各个数据消费系统进行业务支持。...
2022-07-16 16:56:41
1011
原创 DAMA-第七章（数据安全）
随着数据的不断膨胀，数据的管理难度不断加大、数据滥用风险不断增加，造成了数据技术在服务于人们的时候也为大家带来了很大的困扰。在第二章中我们总结了数据处理的伦理，其中很大一部分就是保证数据安全，本文对数据安全的技术、实施注意事项、度量指标等进行了全面的概述，让我们对数据安全有了一个较为全面的理解。有的指标有助于流程改进，有的指标衡量流程的进度开展的审计量、安装的安全系统、报告的事件数以及系统中未经检查的数据量。虽然完美的数据安全几乎不可能，但避免数据安全漏洞的最佳方法是建立安全需求、制度和操作规程的意识。..
2022-07-16 16:55:30
805
原创 DAMA-第六章（数据存储与操作）
数据验证是根据既定的验收标准评估存储数据的过程，以确定其质量和可用性，DBA对数据审计和验证提供部分支持工作，包括帮助制定和审查方法、进行初步的数据筛查和审查、开发数据监控方法、应用统计信息、地理统计信息、生物统计信息等技术来优化数据分析、支持采样及分析、审核数据、提供数据发现的支持、担任与数据库管理相关问题的主题专家。不同的数据库有不同的特性，数据在不同的载体中需要用合适的方法，因此我们在使用数据的时候需要更好地了解其存储的设备和系统，只有这样我们才能因地制宜，更好地发挥数据的价值。...
2022-07-16 16:53:51
654
原创 DAMA-第五章（数据建模与设计）
本文是《DAMA数据管理知识体系指南》第五章的读书笔记，主要讲述如何进行数据建模和设计，该章是全文的核心关节之一（按照CDMP考试认证的内容占比高达11%，是占比最重的五个章节之一）。通常，主键是代理键，而备用键是业务键。数据拱顶模型设计的重点是业务的功能领域，中心表代表业务主键，链接表定义了中心表之间的事务集成，卫星表定义了中心表主键的语境信息。，在建模过程中，首先要研究现有的数据模型和数据库，参考已发布的建模标准和数据标准，搜索和考虑随时提出的新的数据要求，在此基础上建模人员设计数据模型初稿；...
2022-07-16 16:49:25
987
原创 DAMA-第四章（数据架构）
一个完整的数据架构中的构建应当包括当前状态的描述、数据需求的定义、数据整合的指引、数据管控策略中要求的数据资产管理规范。数据架构主要需要考虑如下几个方面数据架构的成果（也就是常说的数据架构的构建）、数据架构的活动（用于形成、部署、和实现数据架构的目标）以及数据架构的行为。企业架构类型数据架构的设计与实施同其他架构紧密相连，企业组织中的架构主要包括组织架构、业务架构、IT技术架构、数据架构等。企业数据模型是一个整体的、企业级的、独立实施的概念和逻辑数据模型，为企业提供通用的、一致的数据视图；......
2022-07-16 16:47:45
1668
原创 DAMA-第三章（数据治理）
下图是一个类似的运营框架示例。常见的数据管理知识领域内的标准化概念如下数据架构、数据建模和设计、数据存储和操作、数据安全、数据集成、文件与内容、参考数据与主数据、数据仓库和商务智能、元数据、数据质量等。风险成本基于罚款、预计诉讼费的估价，来自法律或监管的风险（缺少必需的数据、存在不应留存的数据、数据不正确造成的客户、公司财务或者剩余受到损害的成本）。有效而持久的数据治理需要组织文化的转变和持续的变革管理，文化包括组织思维和数据行为，变革包括为实现未来预期的行为状态而支持的新思维、行为、策略和流程。.....
2022-07-16 16:45:33
3381
TA创建的收藏夹 TA关注的收藏夹
TA关注的人