- 博客(100)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 读书笔记--数据质量的总结感悟
数据质量管理要聚焦组织或客户的关键核心数据，比如企业的财务报告，监管报告和商业战略书等。数据质量管理不是一个项目，是一个持续性的日常工作。数据质量管理的主要驱动因素是为了提高组织的数据利用价值、工作效率和声誉，并降低成本和风险，明确了数据质量的六大维度，分析了出现数据质量问题的常见原因，如何借助PDCA模型改进数据质量，如何利用各种数据质量工具来剖析数据、发现并提升数据质量，也提出了创建高质量数据的最佳方法有哪些，具体实施措施有哪些，最后梳理了数据质量和数据治理的关系，数据质量是数据治理工作的一部分。
2024-04-22 08:56:17
19
原创 python中如何实现不同目录下定义的组件调用
在做不同目录下组件之间调用时，总是无法找到相应的变量或方法组件，因此写了一个简单的测试脚本进行的测试，供大家参考，整体来说是需要在使用的地方之前将对应目录加载到系统path中
2024-04-15 09:34:39
173
原创 调用nltk分词库时出现nltk_data Error loading averaged_perceptron_tagger问题的解决办法
[nltk_data] Error loading averaged_perceptron_tagger，Name or service not known问题的解决办法。
2024-04-12 13:41:06
65
原创 读书笔记--文件与内容管理阅读总结与感悟
继续研读DAMA数据管理知识体系之文件与内容管理章节，结合前两篇博客，本章主要讲述文件或内容管理方面的知识点。现实生活工作中的非结构化数据增长速度要远远快于结构化数据，多达80%的数据存储是在关系型数据库之外，很多特征和有效信息都隐藏在非结构化数据中。因此，管理非结构化数据就成为企业非常有必要的工作，管理非结构化数据需要数据管理专员与其他数据管理专业人员、 档案管理人员的有效合作。而且，如果要理解非结构化数据，就需要借助描述其特征的元数据信息，比如数据格式、模式、主题等。
2024-04-08 15:00:59
818
原创 读书笔记--数据存储和操作的总结感悟
数据存储和操作是数据建模与设计之后紧接着要考虑的一大2方面，或者说是一并考虑的因素。主要考虑数据库后端的存储和操作方面的工作，目的是为了保障支撑业务应用系统的连续性，包括可用性、可靠性、相对隔离性、完整性和一致性等。可以说这部分工作主要是DBA来主导，会涉及一部分网络存储方面的工作，要结合业务选用或混合使用ACID、BASE处理模式等，可以说二者没有绝对的好坏之分，只是适合的场景不同罢了；另外，这部分工作比较重要的数据的备份、恢复和对中间或前端的响应性能。
2024-03-31 18:38:51
69
原创 读书笔记--阅读华为数据治理之旅有感
华为公司的业务范围广泛，市场竞争压力大，迫切需要用一些高效的手段来减轻员工的工作量，让员工各司其职，在各自承担的主营业务工作中投入更大的精力，这一点从他们设置公司层面的数据管理部就能看出来，关于围绕数据的工作，感觉到华为公司上下一盘棋，明确数据工作是业务运行规划工作的一部分，同时专门成立一支队伍，协助各业务版块开展数据治理工作，也就是说，只有将数据工作融入到业务中，数据质量才能提升，只有将数据和财报精密结合，将数据和资金关联起来，数据才能流动利用起来，逐步发挥其价值，后续随着规范化数据的积累
2024-03-21 23:40:58
396
原创 读书笔记--数据建模与设计的总结感悟
数据建模和设计是应用系统或者数据架构设计过程中必须要整体考虑的事情，只是考虑的层级高度、细致情况不同罢了，大家在做信息化建设过程中，在做业务分析和需求调研过程中，就会同步开展建模设计工作，其实整个数据建模和设计就是数据使用者的使用需求和数据生产者的应用需求之间的一种平衡，没有一种一成不变的标准答案，只是之前大家在应用系统建设过程中较少考虑数据未来的其他应用服务需要，目前数据作为生产要素，各方面提出了更高的要求，导致大家在做数据建模和数据库设计过程中要尽量考虑周全。
2024-03-17 18:44:25
90
原创 架构学习总结：企业架构=业务+数据+技术+应用架构
企业架构包括企业的业务架构、数据架构、技术架构和应用架构，要想做好企业的信息化数字化建设规划，业务架构是企业领导带领业务领导及业务人员开展策划形成的业务转型的整体发展战略，应用架构是企业为实现业务架构设计的目标而设计形成的整体应用系统、平台、模块或功能构成关系及组织，技术架构是实现应用架构的共同载体和共性浓缩，包括技术之间的支撑关系和沉淀等，数据架构是业务和技术之间的一座桥梁，是业务架构落地实现之前的形式化表达描述，包括企业业务开展过程中的关键要素，要素间关系和流向等。
2024-03-10 08:32:35
159
原创 读书笔记--人工认知系统导论阅读总结与感悟
《人工认知系统导论》主要涉及了人工智能领域的相关概念、理论、方法和技术。全书首先对人工认知系统建模的关键、认知是什么？智能体是什么？认知科学的三范式，认知科学和人工智能的关系等，然后在后续的章节中详细探讨了认知系统的六大属性，即自治性、具身化、学习与发展、记忆与预测、知识与表征以及社会认知等核心议题。作为一般人工智能的科普书，帮助了广大读者了解认知科学、人工智能和人工智能认知系统等相关概念。
2024-03-03 23:42:44
909
原创 数据安全技术体系建设的整体考量和建议落地方案
随着企业数据治理和应用建设工作的不断深入，数据安全变得越来越重要了，大家作为数据安全和流程体系建设的技术管理者、架构师、技术人员和数据运营管控人员，数据安全需要在技术和管理方面结合企业实际进行思考和落地，安全技术体系建设是一个整体性系统工程，需要从上往下的整体规划，也需要从下往上的分步实施和汇总总结梳理，是一门实践性较强的工程。以下内容来自数据安全与流通相关书籍的阅读和总结整理，供大家参考。
2024-02-25 18:22:13
50
原创 如何将在线大模型的API 封装为本地 API服务
目前，LLM大模型正以雨后春笋般出现，不同领域、厂家的大模型层出不穷，有支持本地微调、部署的开源大模型，也有提供 Web 及 API 服务的通用大模型。不同的大模型有着不同的调用方式及参数，比如讯飞星火认知大模型支持websocket 连接调用，文心一言则直接使用 request 调用，ChatGPT和智谱AI等有自己的开放API直接调用，可以说，各自之间都存在差异。对于不同调用方式的大模型，如果不能统一调用，就需要在程序代码中增加很多复杂的业务逻辑和细节，增加了程序开发的工作量，也增加了Bug和维护成本。
2024-02-18 22:39:07
236
原创 文档分割和文档词向量化的几种实现方式
本文主要基于大模型，或调用大模型API实现文档的分割和文档词的向量化，类似于word2vec机制，大家在未来做相关分析、情感分析、文字生成、智能推荐等方面，都需要先将已管理的文档进行分割和向量化，分割时为了将大的篇幅变短，变为以核心关键词为主的list，向量化是将关键词组合的文档进行矢量化表征，目的是为了借助计算机实现数学方面的运算处理。目前基于大模型主要有以下三种方式实现向量化。
2024-02-13 12:28:44
344
原创 读书笔记--人类简史内容梳理和阅读感悟2
主要讲述了人类如何融合统一，人类的融合统一是一个不可逆转的历史趋势，全球化是人类融合统一的重要表现形式，人类未来的发展将更加依赖于合作与互信；也讲述了科学革命是如何对人类的做事、思考方式进行改变等，了解到科学革命如何让欧洲人称霸世界，科学革命可能给人类带来的两面性问题等。
2024-02-03 23:27:02
657
1
原创 读书笔记--人类简史内容梳理和阅读感悟1
《人类简史》是以色列历史学家尤瓦尔·赫拉利（Yuval Noah Harari）所著畅销书之一。作者从人类起源、认知革命、农业革命、人类大融合、科学革命和信息革命等方面展开编写，书中谈到了语言的出现、虚拟故事、社会秩序、文字的出现、文化的形成等等，以及农业革命带来的社会结构变化和生活方式的改变。其实，我们为什么要了解人类变迁历史，通过了解历史纵深感、思考认知革命、理解文化和虚构故事的力量、了解科技革命对社会的影响等等，这样可以更好的思考未来，提出了对未来的一些猜测和思考。
2024-01-28 21:57:10
542
原创 读书笔记--学习人月神话的金句及感悟3
人月神话这本书其实是在去年初就读过的，当时也总结了两篇读后感，详见之前博客，今天无意间需要参阅一下，就将后面章节进行了重读，特别是《人月神话》的最后部分（第20章），发现之前感觉总结的过于细致，没有整体，在此做一个整体总结，读到最后才发现人月神话是关于人与团队的书，只是恰巧支撑了大型软件编程类项目。
2024-01-21 18:41:31
130
原创 隐私计算的技术体系有哪些
随着各行各业的数字化转型发展，围绕数据的数字化应用如雨后春笋般出现，数据作为业务过程的重要产品，数据作为一种资源、生产要素或商品，越来越得到大家的重视，同时，数据只有在交易流通中才能体现出价值，但需要数据安全的支撑。数据作为数字经济的生产要素之一，具有四方面的特性：数据权属、数据流通、数据安全和数据价值，而数据区别于其他生产要素，数据在流通过程中的安全性需要格外得到重视，而隐私计算就是解决这一问题的利器。
2024-01-14 18:50:20
185
原创 业务数据技术中台概念与相互关系
企业的应用架构建设模式主要为数据+中台(平台)+应用，这里的企业就涵盖互联网大企业和传统企业，大家都在开展必做的事情，即数字化时代的企业数字化转型 。同时，正好最近在做顶层设计和数字化转型整体应用架构设计，就梳理了一下中台发展历程，中台是阿里巴巴在2015年最早提出来的（所谓的大中台、小前台）。其实，很早以前银行系统早就提出了middlelayer的概念，只是当时叫做中间层，并没有叫做中台，感觉中台还是平台的概念，只是中台更加体系化和系统化，并加入了一些管理运营机制方面的内容。
2024-01-06 18:49:16
374
原创 2023年工作总结
对自己过去一年的工作和学习内容，还是挺满意的，希望明年继续能够身心健康的投入到生活和工作中，让自己在数字化素养、科技、文学等方面有所进步，让自己持续在技术方面、认知方面和体现自身价值的硬实力方面都有所突破、沉淀积累。
2023-12-29 23:03:33
510
原创 读书笔记--构建数据湖仓阅读有感
数据因业务开展而产生，后续数据收集汇总后，数据需要用来分析和使用，进而形成分析服务，用于支持企业的战略决策和价值挖掘，用于商业决策，而分析数据需要不同类型数据的融合关联，以及提供数据挖掘的分析基础设施环境，否则数据就还是以原始数据方式存放，没有合适的信息和工具供数据科学家或用户便捷使用，因此提出了数据湖仓，他综合了数据仓库的数据结构和数据管理特性，同时借鉴了数据湖的低成本存储和支持多种类型数据的组织存储特性等。
2023-12-24 23:45:00
900
原创 工业数据的特殊性和安全防护体系探索思考
随着工业互联网的发展，工业企业在生产运营管理过程中会产生各式各样数据，主要有研发设计数据、用户数据、生产运营数据、物流供应链数据等等，这样就形成了工业大数据，这些数据需要依赖企业的网络环境和应用系统进行内外部流通才能实现价值挖掘，如何高效安全的管控这些数据？并基于这些数据，结合企业的业务流程和管理活动，引入信息新技术驱动，开展多种形式的数据应用，实现数据价值挖掘呢？就需要理清楚这些数据的特点，应用价值效果，如何建立安全合规防护体系，实现数据在不断流通过程中的再利用和价值再造等等。
2023-12-18 10:58:28
256
原创 信息安全、网络安全和数据安全的相互关系
信息安全概念最大，也是最早的概念，甚至在没有计算机就已经出现了，网络安全和数据安全是并行的概念，网络安全和基础设施安全是通信链路与基础设施的安全，网络安全需要建立在基础设施安全的基础上开展，因此统称为网络安全，数据安全是最近随着数据转变为生产要素才提出的，主要围绕数据的全生命周期（采集、存储、利用、加工、传输、提供和公开等）开展的安全防护与监测控制工作。总体来说，信息安全包含数据安全、网络安全，网络安全离不开基础设施安全，数据安全与网络安全是平等地位。
2023-12-10 21:35:07
366
原创 企业数字化转型应该做什么
企业做数字化转型目的是为了赋能业务，因为原有老业务发展了这么多年，好做的都已经做完了，目前已进入了深水区，需要引入新的创新源泉，需要跨界创新，特别是这几年IT技术的发展，需要通过IT进行借力赋能，数字化和信息化最大的区别在于随着数字化转型的不断演进，数字化成果会直接指导业务行动。同时，大家也要意识到企业数字化转型不是一连就成，一连就智能，需要结合业务环节，不断分析业务，应用于业务，需要时间，需要全员多个岗位人员的共同努力，在日常业务开展过程中，逐步将知识和经验数字化并沉淀到系统中。
2023-12-02 23:32:22
117
原创 如何基于OpenCV和Sklearn库开展数据降维
在做数据分析或者机器学习应用过程中，不可避免的需要对数据进行降维操作，好多垂直行业业务中经常出现数据量少但维度巨大的情况。数据降维的目的是为了剔除不相关或冗余特征，使得数据易用，去除无用数据，实现数据可视化，提高模型精确度，减少运行成本，减少特征个数并关注本质特征，确保数据特征属性间相互独立。
2023-12-02 22:29:22
293
原创 如何基于gensim和Sklearn实现文本矢量化
利用机器学习或深度学习开展文本分类或关联性分析之前，由于计算机只能分析数值型数据，而人类所熟悉的自然语言文字，机器学习算法是一窍不通的，因此需要将大类的文本及前后关系进行设计，并将其转换为数值化表示。一般来说，文本语言模型主要有词袋模型（BOW）、词向量模型和主题模型，目前比较常见是前两种，各种机器学习框架都有相应的word2vec的机制和支持模型，比如gensim和Scikit-learn（简称Sklearn），词袋模型向量化技术主要有One-Hot、文本计数数值化、词频-逆文档频率（TF-IDF）
2023-11-28 22:45:24
318
原创 读书笔记--从一到无穷大的关键金句和阅读感悟
作为20世纪最经典的科普类图书之一，当时读的懵懵懂懂，现在重新阅读又有了不同的感受，再结合过去的科研工作，深刻体会作者如何用通俗易懂、幽默风趣的语言来阐述科学中的事实和臆测，体会到了数学的魅力（特别是数论），体现了作者的深厚科学素养和人文底蕴。本次主要阐述第一二部分大数来历、无穷大数列、时空转换和相对性等内容，第三四部分的微观世界和宏观世界，将在后面陆续开放出来。作为从事科研工作的一员，我觉得大家还是要是不是的阅读一些经典的科普图书，领会过去各个大师级人物是如何开展科学研究和实验验证的。
2023-11-19 20:31:35
381
原创 如何基于OpenCV和Sklearn算法库开展机器学习算法研究
目前比较有名的机器学习算法库主要有OpenCV和Scikit-learn（简称Sklearn），二者都支持各种机器学习算法，主要有监督学习、无监督学习、数据降维等，OpenCV的所有机器学习相关函数都在OpenCV ML里面描述，OpenCV对图像处理方面有比较大的优势，后续在单独说明，Sklearn是目前机器学习领域最完整、同时也是最具影响力的算法库，基于Numpy, Scipy和matplotlib，包含了大量的机器学习算法实现，同时，Sklearn包含了非常多的已建设规范好的数据集，如波士顿数据集等。
2023-11-15 17:31:18
787
原创 如何利用Python实现分词和NER的Web服务
家都知道python在数据处理、数据分析和机器学习等方面的强大之处，那么如何使用Python实现Web方式的HTTP应用和服务呢，其实有很多种方式，比如gradio、streamlit等等实现web应用，利用FastApi实现web服务等，具体详见之前的[大模型应用文章]，本文采用tornado框架实现http web服务，并结合自然语言处理（NLP）的分词和实体识别的需求，分别实现如何提供相应的http服务。
2023-11-05 15:55:27
152
原创 知识图谱--Jena基础操作和检索推理应用
本次主要对Jena的基础操作和如何应用进行了实践总结，同时结合了D2R，将结构化数据转换成Jena可以加载的格式（即RDF，后缀是.nt），Apache Jena作为一种开源的Java语义网框架，主要功能有RDF数据管理、RDFS和OWL本体管理、SPARQL查询处理；推理主要有基于规则的推理引擎，可执行RDFS和OWL本体推理任务。利用Apache Jena存储数据目前主要采用TDB方式，性能最好， 支持几十亿条记录，同时利用Apache Jena Fuseki存储和管理三元组，支持SPARQL查询。
2023-10-27 22:37:20
524
原创 大模型与知识图谱如何相互助力
在大模型发展的当下，知识图谱与大模型的融合发展成为一个有意义的探索方向。知识图谱是对数据/文本的压缩，通过知识建模定义的知识的结构规范，提炼出知识最本质特征和语义。因此，schema是一种强范式指令，大模型是in-context learning，借助大模型来，实现自动生成常识知识的schema定义（垂直细领域、业务实体特有schema仍需专家）、以schema作为prompt约束，生成高质量的结构化知识并沉淀到知识图谱。比如在知识建模、知识抽取、知识推理探测等方向开展互动。
2023-10-22 17:12:08
222
原创 读书笔记--华为数据之道有感
通过研读华为数据之道，了解到华为作为一家非数字原生企业，其业务涵盖研发、营销、制造、供应、采购、服务等，业务相当复杂。因此华为在开展数据治理过程中明确了由谁来对数据负责，特别是对数据质量负责，明确了数据质量的衡量或度量指标，并成立了数据管理部，确定其职能定位，构建了面向业务交易支撑的信息架构。通过对华为的数据治理工作经验的学习与分析，结合自身业务，得出如下一些可供借鉴的地方，特别要强调的是数据治理的目的是为了支撑业务、沉淀数据资产、形成知识，再结合认知智能深挖数据价值，提升企业的安全合规能力和竞争能力。
2023-10-14 14:39:17
858
原创 读书笔记--未来简史关键金句和阅读感悟
作者从古到今，谈到了上帝、神、宗教、科技、生物、智人到未来的超人智神（数据主义），让我们感受到一场人类如何从众多动物中脱颖而出，引领主导世界这么多年，同时借助生物科技和计算机技术的发展，展望世界未来发展展望，对于我们人类来说，作者在第三部分写的比较悲观，但这何尝不是一种历史发展的趋势呢，如果人类要从小小的地球走向太阳系、银河系，甚至宇宙，我倒是觉得这种预测也不失为一种未来可考的预测方式，特别是目前各行各业都在大兴数字化转型和智能化发展，这种趋势是必然，甚至在某些局部场景环节。
2023-10-08 23:00:51
1656
2
原创 读书笔记--知识图谱基础概念与关键环节解析
知识图谱相当于一张网，是一种大型知识库，一种揭示实体之间关系的语义网络，是事物及其关系的形式化描述，分为通用知识图谱和领域（行业）知识图谱，如DBpedia，OpenKG，Wikidata.知识图谱为多源、异构、海量、动态数据的表达、组织、管理和利用等提供了一种更为有效的方式，知识图谱促进了理解和处理，使得智能化水平更高，更接近人类认知思维。
2023-09-29 23:26:55
1135
原创 Vue+Three.js实现三维管道可视化及流动模拟续集
1.新增直角拐弯的管道，工业中很多管道都是横平竖直的，相当于我们装修的水管或电线等，不是曲线而是直线，夹角基本都是90度。2.新增透明管道和不透明管道的动态模拟，通过材质和透明度属性(transparent)进行设置。3.新增不同管道采用不同的材质和速度进行流动模拟，相当于管道总支和分支的动态模拟。4.新增网格显示，便于做对齐校正、对比显示。5.新增不同管道的点击时的详细信息框显示，比如显示管道名称、管径、长度、流动速度等。
2023-09-23 10:02:02
1217
原创 大模型对外提供应用的三种服务方式及示例
我们开发完成的软件模块为了体现价值，都需要对外提供服务，最原始的方式就是将源码或编译好的类库提供给需要使用的客户进行引入使用，但对于大模型的应用来说，这种方式显然不行，一个是由于模型太大，需要更多的存储资源和计算资源等，客户侧一般没有相应的资源，一个是由于部署运行环境的复杂性和可运维性，导致这种应用方式的成功率和可移植性较低，因此，目前比较多的是以下三种方式，主要有终端Terminal、Web应用服务和Rest服务等。
2023-09-14 08:51:29
535
原创 基于Streamlit的应用如何通过streamlit-authenticator组件实现用户验证与隔离
Streamlit框架中默认是没有提供用户验证组件的，大家在基于streamlit快速实现web应用服务过程中，不可避免的需要配置该应用的访问范围和权限，即用户群体，一般的做法有两种，一种是通过用户密码验证机制，要求只有成功登录后的用户才可访问该应用，一种是白名单策略，比如通过系统级的防护墙进行设置，或者通过Fastapi的白名单过滤机制(即app.middleware('http')）实现。
2023-09-07 17:37:24
1603
原创 CUDA Toolkit多版本安装与配置
CUDA Toolkit多版本安装目的是为了将CUDA Toolkit支持多个版本，并将当前版本更新到后续支持常见pytorch的版本（即cuda11.6），目前该系统默认安装的是cuda10.2，cuda11.0和cuda11.2。CUDA一般有两种API，一个是驱动API（Driver Version），依赖NVIDIA驱动，由nvidia-smi查看; 另一个是运行API（Runtime Version）是软件运行所需要的，比如python环境需要的cuda api版本等。一般驱动API版本>=运行A
2023-09-01 15:20:55
3390
原创 Llama-2大模型本地部署研究与应用测试
目前正在开展大模型部署，目前开源大模型主要就是Llama、ChatGLM大模型等，包括Llama-1和Llama-2，在其基础上的改进大模型有Chinese-LLaMA、OpenChineseLLaMA、Moss、baichuan等等，本文主要对原始Llama大模型进行了本地部署与测试，后续再逐步学习，结合行业数据资源进行finetune，希望在开源模型的基础上对油气行业大模型建设有所帮助，大模型部署测试如下。
2023-08-26 12:32:55
2497
原创 读书笔记--数据治理的应用实践与展望
本文主要讲述一些相对成熟的数据治理应用实践案例、数据治理的准备工作、6大误区和5个技术展望，希望对大家在开展数据治理工作及数字化转型工作有所帮助与参考。正如前面多次强调的一样，数据治理工作是一项重实践、持续性迭代、错综复杂的过程性工作，项目周期长，见效时间慢，价值体现间接，甚至需要做好背锅的一系列工作，本书整理出的经典方法论实践，我觉得非常有借鉴意义，就整理出来分享给大家，与大家共勉。
2023-08-19 18:27:56
902
原创 python中常见的矩阵变换总结
利用python做数据处理和分析过程中，如在开展机器学习的数据预处理、数据格式转换等等，不可避免的会涉及到各种矩阵变换，其中使用最多的就是numpy下的矩阵变换，以下是日常用到的一些矩阵变换总结，主要有矩阵中数据类型的整体转换、矩阵维度增减、多矩阵拼接、矩阵切片获取和多矩阵迭代等等，当然，pandas也有相应的矩阵变换操作，相对更复杂，后续会逐步发出来，供参考。
2023-08-11 14:49:53
958
原创 机器学习模型选择评估和超参数调优
如何选择模型？如何评估模型？如何调整模型的超参数？模型评估要在测试集上进行，不能在训练集上进行，否则评估的准确率总是100%，模型调参要在验证集上迭代进行。所以，一般我们准备好数据集后，要将其分为训练集和测试集，分配比例一般在5：5到8：2之间，即最多训练集80%，测试集20%，验证集包含在训练集中。sklearn中有sklearn.model_selection.train_test_split方法来实现数据集的拆分。
2023-08-05 22:48:15
389
nltk-data语料库和模型资源
2022-11-05
scipy手动安装包
2017-09-24
单页Web应用：JavaScript前端到后端--源代码
2016-06-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人