一望无际的大草原
知识的传播者,人工智能大数据与传统行业融合的探索者,能源行业专业化应用数据服务的设计与实践者。
展开
-
读书笔记--数据管理成熟度能力模型有哪些
企业通过管理成熟度评估工作,能够全面了解评估企业当前的状态,发现数据管理存在的问题,为满足监管要求做好准备,改进和变革组织形式,分析出公司在数据管理方面的强弱项,识别改进机会,制定改进措施,实施改进方案,引入新技术新方法,不断提升企业的数据管理水平。这些管理成熟度能力模型是逐步递进的,企业在数字化转型过程要要结合公司实际,进行有选择性的开展,聚焦核心业务、关键流程和数据,开展相应的数字化信息化建设,将业务进行数字化转型过程中,不断积累规范化数据,形成数据要素,为后续业务的智能化开展做好储备。原创 2024-05-17 14:18:52 · 4 阅读 · 0 评论 -
读书笔记--数据治理的阅读总结感悟
数据治理是一项整体统领性工作,数据治理是一项企业战略层面的工作,为企业提供了治理的原则、制度、流程、整体框架、管理指等,监督和指导数据管理等其他知识领域工作的执行,确保根据数据管理制度和最佳实践正确地管理数据,并可以从其数据中获得价值。详细阐述了数据治理的目标原则、业务驱动因素,也说明了数据治理的范围和聚集点在哪里,数据治理和数据管理的关系,数据治理和IT等其他治理的关系,接下来阐述了数据治理的组织和运营模式,相关的活动有哪些,工具方法有哪些,形成的交付物有哪些,以及如何度量数据治理的效果等等。总体来说,数原创 2024-05-13 08:53:52 · 13 阅读 · 0 评论 -
读书笔记--数据安全的总结感悟
数据安全是一项企业层面的统筹协同工作,主要为企业数据资产提供验证、授权、访问和审计等工作,主要目的是为了保护利益相关方的隐私保密要求和数据资产的不当访问,并遵守相应的法规要求,同时也分析了数据安全的手段、方法和工具,常见的数据安全活动和安全类型有哪些,数据安全的3大目标6项原则和3部法规,数据安全过程的4A1E具体指什么,数据安全来源有哪些,数据安全意识的培养等等,如何在数据利用过程中做好数据安全防护控制,也明确了外包过程中的数据安全责任是甲方无法委托出去的,制定数据安全措施必须站在那些将使用数据和系统。原创 2024-05-04 13:18:08 · 43 阅读 · 0 评论 -
读书笔记--数据管理知识体系的阅读总结感悟
数据管理工作需要技术和非技术的双重技能,由业务人员和信息技术人员相互协作,共同来承担责任,确保组织管理的数据是高质量的,主要驱动力是使得组织能够从其数据资产中获取价值,得到关键信息和知识,在竞争中获得优势。同时,为了做好数据管理工作,首先要做好组织的元数据管理,数据管理工作是一项跨职能的工作,数据管理要站在企业视角开展,需要相关人员从多角度思考,避免数据的误解误用风险,而且不同种类的数据有不同的生命周期、不同的风险,管理要求也有所不同,导致数据管理工作更加复杂多样。数据管理工作同样要业务驱动,需要重点关注对原创 2024-04-28 23:05:57 · 42 阅读 · 0 评论 -
读书笔记--文件与内容管理阅读总结与感悟
继续研读DAMA数据管理知识体系之文件与内容管理章节,结合前两篇博客,本章主要讲述文件或内容管理方面的知识点。现实生活工作中的非结构化数据增长速度要远远快于结构化数据,多达80%的数据存储是在关系型数据库之外,很多特征和有效信息都隐藏在非结构化数据中。因此,管理非结构化数据就成为企业非常有必要的工作,管理非结构化数据需要数据管理专员与其他数据管理专业人员、 档案管理人员的有效合作。而且,如果要理解非结构化数据,就需要借助描述其特征的元数据信息,比如数据格式、模式、主题等。原创 2024-04-08 15:00:59 · 824 阅读 · 0 评论 -
读书笔记--数据质量的总结感悟
数据质量管理要聚焦组织或客户的关键核心数据,比如企业的财务报告,监管报告和商业战略书等。数据质量管理不是一个项目,是一个持续性的日常工作。数据质量管理的主要驱动因素是为了提高组织的数据利用价值、工作效率和声誉,并降低成本和风险,明确了数据质量的六大维度,分析了出现数据质量问题的常见原因,如何借助PDCA模型改进数据质量,如何利用各种数据质量工具来剖析数据、发现并提升数据质量,也提出了创建高质量数据的最佳方法有哪些,具体实施措施有哪些,最后梳理了数据质量和数据治理的关系,数据质量是数据治理工作的一部分。原创 2024-04-22 08:56:17 · 28 阅读 · 0 评论 -
调用nltk分词库时出现nltk_data Error loading averaged_perceptron_tagger问题的解决办法
[nltk_data] Error loading averaged_perceptron_tagger,Name or service not known问题的解决办法。原创 2024-04-12 13:41:06 · 128 阅读 · 0 评论 -
读书笔记--数据存储和操作的总结感悟
数据存储和操作是数据建模与设计之后紧接着要考虑的一大2方面,或者说是一并考虑的因素。主要考虑数据库后端的存储和操作方面的工作,目的是为了保障支撑业务应用系统的连续性,包括可用性、可靠性、相对隔离性、完整性和一致性等。可以说这部分工作主要是DBA来主导,会涉及一部分网络存储方面的工作,要结合业务选用或混合使用ACID、BASE处理模式等,可以说二者没有绝对的好坏之分,只是适合的场景不同罢了;另外,这部分工作比较重要的数据的备份、恢复和对中间或前端的响应性能。原创 2024-03-31 18:38:51 · 82 阅读 · 0 评论 -
读书笔记--阅读华为数据治理之旅有感
华为公司的业务范围广泛,市场竞争压力大,迫切需要用一些高效的手段来减轻员工的工作量,让员工各司其职,在各自承担的主营业务工作中投入更大的精力,这一点从他们设置公司层面的数据管理部就能看出来,关于围绕数据的工作,感觉到华为公司上下一盘棋,明确数据工作是业务运行规划工作的一部分,同时专门成立一支队伍,协助各业务版块开展数据治理工作,也就是说,只有将数据工作融入到业务中,数据质量才能提升,只有将数据和财报精密结合,将数据和资金关联起来,数据才能流动利用起来,逐步发挥其价值,后续随着规范化数据的积累原创 2024-03-21 23:40:58 · 399 阅读 · 0 评论 -
读书笔记--数据建模与设计的总结感悟
数据建模和设计是应用系统或者数据架构设计过程中必须要整体考虑的事情,只是考虑的层级高度、细致情况不同罢了,大家在做信息化建设过程中,在做业务分析和需求调研过程中,就会同步开展建模设计工作,其实整个数据建模和设计就是数据使用者的使用需求和数据生产者的应用需求之间的一种平衡,没有一种一成不变的标准答案,只是之前大家在应用系统建设过程中较少考虑数据未来的其他应用服务需要,目前数据作为生产要素,各方面提出了更高的要求,导致大家在做数据建模和数据库设计过程中要尽量考虑周全。原创 2024-03-17 18:44:25 · 95 阅读 · 0 评论 -
架构学习总结:企业架构=业务+数据+技术+应用架构
企业架构包括企业的业务架构、数据架构、技术架构和应用架构,要想做好企业的信息化数字化建设规划,业务架构是企业领导带领业务领导及业务人员开展策划形成的业务转型的整体发展战略,应用架构是企业为实现业务架构设计的目标而设计形成的整体应用系统、平台、模块或功能构成关系及组织,技术架构是实现应用架构的共同载体和共性浓缩,包括技术之间的支撑关系和沉淀等,数据架构是业务和技术之间的一座桥梁,是业务架构落地实现之前的形式化表达描述,包括企业业务开展过程中的关键要素,要素间关系和流向等。原创 2024-03-10 08:32:35 · 170 阅读 · 0 评论 -
数据安全技术体系建设的整体考量和建议落地方案
随着企业数据治理和应用建设工作的不断深入,数据安全变得越来越重要了,大家作为数据安全和流程体系建设的技术管理者、架构师、技术人员和数据运营管控人员,数据安全需要在技术和管理方面结合企业实际进行思考和落地,安全技术体系建设是一个整体性系统工程,需要从上往下的整体规划,也需要从下往上的分步实施和汇总总结梳理,是一门实践性较强的工程。以下内容来自数据安全与流通相关书籍的阅读和总结整理,供大家参考。原创 2024-02-25 18:22:13 · 53 阅读 · 0 评论 -
如何将在线大模型的API 封装为本地 API服务
目前,LLM大模型正以雨后春笋般出现,不同领域、厂家的大模型层出不穷,有支持本地微调、部署的开源大模型,也有提供 Web 及 API 服务的通用大模型。不同的大模型有着不同的调用方式及参数,比如讯飞星火认知大模型支持websocket 连接调用,文心一言则直接使用 request 调用,ChatGPT和智谱AI等有自己的开放API直接调用,可以说,各自之间都存在差异。对于不同调用方式的大模型,如果不能统一调用,就需要在程序代码中增加很多复杂的业务逻辑和细节,增加了程序开发的工作量,也增加了Bug和维护成本。原创 2024-02-18 22:39:07 · 270 阅读 · 0 评论 -
文档分割和文档词向量化的几种实现方式
本文主要基于大模型,或调用大模型API实现文档的分割和文档词的向量化,类似于word2vec机制,大家在未来做相关分析、情感分析、文字生成、智能推荐等方面,都需要先将已管理的文档进行分割和向量化,分割时为了将大的篇幅变短,变为以核心关键词为主的list,向量化是将关键词组合的文档进行矢量化表征,目的是为了借助计算机实现数学方面的运算处理。目前基于大模型主要有以下三种方式实现向量化。原创 2024-02-13 12:28:44 · 392 阅读 · 0 评论 -
读书笔记--学习人月神话的金句及感悟3
人月神话这本书其实是在去年初就读过的,当时也总结了两篇读后感,详见之前博客,今天无意间需要参阅一下,就将后面章节进行了重读,特别是《人月神话》的最后部分(第20章),发现之前感觉总结的过于细致,没有整体,在此做一个整体总结,读到最后才发现人月神话是关于人与团队的书,只是恰巧支撑了大型软件编程类项目。原创 2024-01-21 18:41:31 · 134 阅读 · 0 评论 -
隐私计算的技术体系有哪些
随着各行各业的数字化转型发展,围绕数据的数字化应用如雨后春笋般出现,数据作为业务过程的重要产品,数据作为一种资源、生产要素或商品,越来越得到大家的重视,同时,数据只有在交易流通中才能体现出价值,但需要数据安全的支撑。数据作为数字经济的生产要素之一,具有四方面的特性:数据权属、数据流通、数据安全和数据价值,而数据区别于其他生产要素,数据在流通过程中的安全性需要格外得到重视,而隐私计算就是解决这一问题的利器。原创 2024-01-14 18:50:20 · 191 阅读 · 0 评论 -
业务数据技术中台概念与相互关系
企业的应用架构建设模式主要为数据+中台(平台)+应用,这里的企业就涵盖互联网大企业和传统企业,大家都在开展必做的事情,即数字化时代的企业数字化转型 。同时,正好最近在做顶层设计和数字化转型整体应用架构设计,就梳理了一下中台发展历程,中台是阿里巴巴在2015年最早提出来的(所谓的大中台、小前台)。其实,很早以前银行系统早就提出了middlelayer的概念,只是当时叫做中间层,并没有叫做中台,感觉中台还是平台的概念,只是中台更加体系化和系统化,并加入了一些管理运营机制方面的内容。原创 2024-01-06 18:49:16 · 376 阅读 · 0 评论 -
2023年工作总结
对自己过去一年的工作和学习内容,还是挺满意的,希望明年继续能够身心健康的投入到生活和工作中,让自己在数字化素养、科技、文学等方面有所进步,让自己持续在技术方面、认知方面和体现自身价值的硬实力方面都有所突破、沉淀积累。原创 2023-12-29 23:03:33 · 517 阅读 · 0 评论 -
企业数字化转型应该做什么
企业做数字化转型目的是为了赋能业务,因为原有老业务发展了这么多年,好做的都已经做完了,目前已进入了深水区,需要引入新的创新源泉,需要跨界创新,特别是这几年IT技术的发展,需要通过IT进行借力赋能,数字化和信息化最大的区别在于随着数字化转型的不断演进,数字化成果会直接指导业务行动。同时,大家也要意识到企业数字化转型不是一连就成,一连就智能,需要结合业务环节,不断分析业务,应用于业务,需要时间,需要全员多个岗位人员的共同努力,在日常业务开展过程中,逐步将知识和经验数字化并沉淀到系统中。原创 2023-12-02 23:32:22 · 122 阅读 · 0 评论 -
知识图谱--Jena基础操作和检索推理应用
本次主要对Jena的基础操作和如何应用进行了实践总结,同时结合了D2R,将结构化数据转换成Jena可以加载的格式(即RDF,后缀是.nt),Apache Jena作为一种开源的Java语义网框架,主要功能有RDF数据管理、RDFS和OWL本体管理、SPARQL查询处理;推理主要有基于规则的推理引擎,可执行RDFS和OWL本体推理任务。利用Apache Jena存储数据目前主要采用TDB方式,性能最好, 支持几十亿条记录,同时利用Apache Jena Fuseki存储和管理三元组,支持SPARQL查询。原创 2023-10-27 22:37:20 · 539 阅读 · 0 评论 -
大模型与知识图谱如何相互助力
在大模型发展的当下,知识图谱与大模型的融合发展成为一个有意义的探索方向。知识图谱是对数据/文本的压缩,通过知识建模定义的知识的结构规范,提炼出知识最本质特征和语义。因此,schema是一种强范式指令,大模型是in-context learning,借助大模型来,实现自动生成常识知识的schema定义(垂直细领域、业务实体特有schema仍需专家)、以schema作为prompt约束,生成高质量的结构化知识并沉淀到知识图谱。比如在知识建模、知识抽取、知识推理探测等方向开展互动。原创 2023-10-22 17:12:08 · 240 阅读 · 0 评论 -
读书笔记--华为数据之道有感
通过研读华为数据之道,了解到华为作为一家非数字原生企业,其业务涵盖研发、营销、制造、供应、采购、服务等,业务相当复杂。因此华为在开展数据治理过程中明确了由谁来对数据负责,特别是对数据质量负责,明确了数据质量的衡量或度量指标,并成立了数据管理部,确定其职能定位,构建了面向业务交易支撑的信息架构。通过对华为的数据治理工作经验的学习与分析,结合自身业务,得出如下一些可供借鉴的地方,特别要强调的是数据治理的目的是为了支撑业务、沉淀数据资产、形成知识,再结合认知智能深挖数据价值,提升企业的安全合规能力和竞争能力。原创 2023-10-14 14:39:17 · 869 阅读 · 0 评论 -
大模型对外提供应用的三种服务方式及示例
我们开发完成的软件模块为了体现价值,都需要对外提供服务,最原始的方式就是将源码或编译好的类库提供给需要使用的客户进行引入使用,但对于大模型的应用来说,这种方式显然不行,一个是由于模型太大,需要更多的存储资源和计算资源等,客户侧一般没有相应的资源,一个是由于部署运行环境的复杂性和可运维性,导致这种应用方式的成功率和可移植性较低,因此,目前比较多的是以下三种方式,主要有终端Terminal、Web应用服务和Rest服务等。原创 2023-09-14 08:51:29 · 552 阅读 · 0 评论 -
利用python绘制二三维曲面和矢量流线图
本文主要在python3.10环境下,利用 matplotlib.pyplot、scipy.interpolate、numpy、pandas实现数据的处理,网格数据的生成,各自平面图和三维图形的绘制,并加入自定义颜色栏。在绘图开始之前,需要准备数据,一般包括读取和准备数据,以及简单的数据处理过滤等,后续会在此基础上进行绘图操作或继续进行数据处理及可视化等。原创 2023-07-08 16:17:45 · 2455 阅读 · 2 评论 -
Vue+Three.js实现三维管道可视化及流动模拟续集
1.新增直角拐弯的管道,工业中很多管道都是横平竖直的,相当于我们装修的水管或电线等,不是曲线而是直线,夹角基本都是90度。2.新增透明管道和不透明管道的动态模拟,通过材质和透明度属性(transparent)进行设置。3.新增不同管道采用不同的材质和速度进行流动模拟,相当于管道总支和分支的动态模拟。4.新增网格显示,便于做对齐校正、对比显示。5.新增不同管道的点击时的详细信息框显示,比如显示管道名称、管径、长度、流动速度等。原创 2023-09-23 10:02:02 · 1306 阅读 · 0 评论