- 博客(111)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 元宇宙相关技术研究--由AR眼镜引发的人机交互思考
随着IT新技术的发展，眼镜作为一种全新的交互方式，未来将逐渐走到人机交互的核心位置，眼镜集成了人机交互过程中的视觉(即眼睛）、听觉（即声音）、手势（即代替键盘鼠标触摸等）及方向位置感知等。这些交互技术的发展构建了元宇宙的基础架构，使得用户能够在虚拟和现实之间无缝切换，体验更加丰富的交互方式。特别是轻便的AR眼镜领域的发展和创新，对整个行业有着重要的推动作用，通过不断的技术研发和市场拓展，不仅推动了AR技术的进步，也为消费者带来了更加丰富和便捷的产品体验。
2024-07-01 10:33:44
99
原创 基于FastApi框架的后端服务实践案例
利用python在做后端数据处理过程中，发现从响应性能、框架灵活性和安全可靠性等角度来综合考虑，总体推荐基于FastApi框架来编写不同类型的后端服务，因此记录并分享给大家。本文主要采用FastApi框架实现http web服务，支持储层研究方面的趋势分析、倾向计算等专业算法实现，实现了如何跨域访问、如何设置白名单、如何设置静态资源，同时包括了常见的get/post请求的处理、单文件/多文件上传解析，并且结合了swagger，实现了服务端接口文档的自动编写和测试发布说明等。
2024-06-29 21:30:00
90
原创 常见数字化转型方案撰写的思维模式
通过这一段时间的学习和倾听，结合DAMA数据管理知识体系学习与项目实践，对大部分数据治理类项目、信息化建设和数字化转型项目的思维模式做了一些总结梳理，具体有如下四种
2024-06-22 23:43:01
44
原创 哪些数据管理知识领域需要做到数据全生命周期管理
数据管理、数据治理、数据安全、元数据管理、数据治理等知识体系，都需要按照数据的生命周期开展管理工作。数据生命周期包括计划、设计/启用、创建/获取、存储/维护、使用、增强和处置。
2024-06-16 18:55:32
60
原创 数字孪生技术体系和核心能力整理
通过学习，发现数字孪生技术的构建过程其实就是数字孪生体的构建与应用过程，数字孪生体的构建是一个体系化的系统工程，数字化转型的最终形态应该就是数实融合互动互联的终极状态。数实融合是每个行业必答题。数字化转型让数字空间和物理空间的交互普遍和频繁，通过数字空间的计算、分析、推演来优化物理空间，已成为数字化转型重要的方法论，数字化转型相关的标准、技术和应用方面推进数字孪生产业的发展完善。
2024-06-08 22:06:51
164
原创 数据管理知识体系必知的14张语境关系图
语境关系图和环境因素六边形图是各有侧重、相互补充的关系。语境关系图是环境因素六边形图的细化，描述了每个知识领域中的细节，相当于数据管理的微观视角， 包括与人员、 流程和技术相关的细节。它是基于产品管理（供给者、输入、活动、交付成果和消费者）的SIPOC图的概念。语境关系图将活动放在中心，这些活动生产了满足利益相关方需求的可交付成果。
2024-06-01 22:56:15
139
原创 DAMA数据管理知识体系必背18张框图
总共有18张框图，供大家参考。主要涉及数据管理、数据治理阶段模式、数据安全需求、主数据关键关键步骤，主数据架构、DW架构、数据科学的7个阶段、数据仓库建设活动、信息收敛三角、大数据概念架构图、数据管理成熟度等级和组织运营模式。通过这些图的理解、分析与应用，了解到数据管理工作涉及的方方面面，需要组织各方从整体角度持续迭代的开展数据治理工作。
2024-05-26 22:44:30
171
原创 读书笔记--数据管理成熟度能力模型有哪些
企业通过管理成熟度评估工作，能够全面了解评估企业当前的状态，发现数据管理存在的问题，为满足监管要求做好准备，改进和变革组织形式，分析出公司在数据管理方面的强弱项，识别改进机会，制定改进措施，实施改进方案，引入新技术新方法，不断提升企业的数据管理水平。这些管理成熟度能力模型是逐步递进的，企业在数字化转型过程要要结合公司实际，进行有选择性的开展，聚焦核心业务、关键流程和数据，开展相应的数字化信息化建设，将业务进行数字化转型过程中，不断积累规范化数据，形成数据要素，为后续业务的智能化开展做好储备。
2024-05-17 14:18:52
34
原创 读书笔记--数据治理的阅读总结感悟
数据治理是一项整体统领性工作，数据治理是一项企业战略层面的工作，为企业提供了治理的原则、制度、流程、整体框架、管理指等，监督和指导数据管理等其他知识领域工作的执行，确保根据数据管理制度和最佳实践正确地管理数据，并可以从其数据中获得价值。详细阐述了数据治理的目标原则、业务驱动因素，也说明了数据治理的范围和聚集点在哪里，数据治理和数据管理的关系，数据治理和IT等其他治理的关系，接下来阐述了数据治理的组织和运营模式，相关的活动有哪些，工具方法有哪些，形成的交付物有哪些，以及如何度量数据治理的效果等等。总体来说，数
2024-05-13 08:53:52
38
原创 读书笔记--数据安全的总结感悟
数据安全是一项企业层面的统筹协同工作，主要为企业数据资产提供验证、授权、访问和审计等工作，主要目的是为了保护利益相关方的隐私保密要求和数据资产的不当访问，并遵守相应的法规要求，同时也分析了数据安全的手段、方法和工具，常见的数据安全活动和安全类型有哪些，数据安全的3大目标6项原则和3部法规，数据安全过程的4A1E具体指什么，数据安全来源有哪些，数据安全意识的培养等等，如何在数据利用过程中做好数据安全防护控制，也明确了外包过程中的数据安全责任是甲方无法委托出去的，制定数据安全措施必须站在那些将使用数据和系统。
2024-05-04 13:18:08
87
原创 读书笔记--数据管理知识体系的阅读总结感悟
数据管理工作需要技术和非技术的双重技能，由业务人员和信息技术人员相互协作，共同来承担责任，确保组织管理的数据是高质量的，主要驱动力是使得组织能够从其数据资产中获取价值，得到关键信息和知识，在竞争中获得优势。同时，为了做好数据管理工作，首先要做好组织的元数据管理，数据管理工作是一项跨职能的工作，数据管理要站在企业视角开展，需要相关人员从多角度思考，避免数据的误解误用风险，而且不同种类的数据有不同的生命周期、不同的风险，管理要求也有所不同，导致数据管理工作更加复杂多样。数据管理工作同样要业务驱动，需要重点关注对
2024-04-28 23:05:57
64
原创 读书笔记--数据质量的总结感悟
数据质量管理要聚焦组织或客户的关键核心数据，比如企业的财务报告，监管报告和商业战略书等。数据质量管理不是一个项目，是一个持续性的日常工作。数据质量管理的主要驱动因素是为了提高组织的数据利用价值、工作效率和声誉，并降低成本和风险，明确了数据质量的六大维度，分析了出现数据质量问题的常见原因，如何借助PDCA模型改进数据质量，如何利用各种数据质量工具来剖析数据、发现并提升数据质量，也提出了创建高质量数据的最佳方法有哪些，具体实施措施有哪些，最后梳理了数据质量和数据治理的关系，数据质量是数据治理工作的一部分。
2024-04-22 08:56:17
44
原创 python中如何实现不同目录下定义的组件调用
在做不同目录下组件之间调用时，总是无法找到相应的变量或方法组件，因此写了一个简单的测试脚本进行的测试，供大家参考，整体来说是需要在使用的地方之前将对应目录加载到系统path中
2024-04-15 09:34:39
194
原创 调用nltk分词库时出现nltk_data Error loading averaged_perceptron_tagger问题的解决办法
[nltk_data] Error loading averaged_perceptron_tagger，Name or service not known问题的解决办法。
2024-04-12 13:41:06
351
原创 读书笔记--文件与内容管理阅读总结与感悟
继续研读DAMA数据管理知识体系之文件与内容管理章节，结合前两篇博客，本章主要讲述文件或内容管理方面的知识点。现实生活工作中的非结构化数据增长速度要远远快于结构化数据，多达80%的数据存储是在关系型数据库之外，很多特征和有效信息都隐藏在非结构化数据中。因此，管理非结构化数据就成为企业非常有必要的工作，管理非结构化数据需要数据管理专员与其他数据管理专业人员、 档案管理人员的有效合作。而且，如果要理解非结构化数据，就需要借助描述其特征的元数据信息，比如数据格式、模式、主题等。
2024-04-08 15:00:59
836
原创 读书笔记--数据存储和操作的总结感悟
数据存储和操作是数据建模与设计之后紧接着要考虑的一大2方面，或者说是一并考虑的因素。主要考虑数据库后端的存储和操作方面的工作，目的是为了保障支撑业务应用系统的连续性，包括可用性、可靠性、相对隔离性、完整性和一致性等。可以说这部分工作主要是DBA来主导，会涉及一部分网络存储方面的工作，要结合业务选用或混合使用ACID、BASE处理模式等，可以说二者没有绝对的好坏之分，只是适合的场景不同罢了；另外，这部分工作比较重要的数据的备份、恢复和对中间或前端的响应性能。
2024-03-31 18:38:51
100
原创 读书笔记--阅读华为数据治理之旅有感
华为公司的业务范围广泛，市场竞争压力大，迫切需要用一些高效的手段来减轻员工的工作量，让员工各司其职，在各自承担的主营业务工作中投入更大的精力，这一点从他们设置公司层面的数据管理部就能看出来，关于围绕数据的工作，感觉到华为公司上下一盘棋，明确数据工作是业务运行规划工作的一部分，同时专门成立一支队伍，协助各业务版块开展数据治理工作，也就是说，只有将数据工作融入到业务中，数据质量才能提升，只有将数据和财报精密结合，将数据和资金关联起来，数据才能流动利用起来，逐步发挥其价值，后续随着规范化数据的积累
2024-03-21 23:40:58
420
原创 读书笔记--数据建模与设计的总结感悟
数据建模和设计是应用系统或者数据架构设计过程中必须要整体考虑的事情，只是考虑的层级高度、细致情况不同罢了，大家在做信息化建设过程中，在做业务分析和需求调研过程中，就会同步开展建模设计工作，其实整个数据建模和设计就是数据使用者的使用需求和数据生产者的应用需求之间的一种平衡，没有一种一成不变的标准答案，只是之前大家在应用系统建设过程中较少考虑数据未来的其他应用服务需要，目前数据作为生产要素，各方面提出了更高的要求，导致大家在做数据建模和数据库设计过程中要尽量考虑周全。
2024-03-17 18:44:25
115
原创 架构学习总结：企业架构=业务+数据+技术+应用架构
企业架构包括企业的业务架构、数据架构、技术架构和应用架构，要想做好企业的信息化数字化建设规划，业务架构是企业领导带领业务领导及业务人员开展策划形成的业务转型的整体发展战略，应用架构是企业为实现业务架构设计的目标而设计形成的整体应用系统、平台、模块或功能构成关系及组织，技术架构是实现应用架构的共同载体和共性浓缩，包括技术之间的支撑关系和沉淀等，数据架构是业务和技术之间的一座桥梁，是业务架构落地实现之前的形式化表达描述，包括企业业务开展过程中的关键要素，要素间关系和流向等。
2024-03-10 08:32:35
188
原创 读书笔记--人工认知系统导论阅读总结与感悟
《人工认知系统导论》主要涉及了人工智能领域的相关概念、理论、方法和技术。全书首先对人工认知系统建模的关键、认知是什么？智能体是什么？认知科学的三范式，认知科学和人工智能的关系等，然后在后续的章节中详细探讨了认知系统的六大属性，即自治性、具身化、学习与发展、记忆与预测、知识与表征以及社会认知等核心议题。作为一般人工智能的科普书，帮助了广大读者了解认知科学、人工智能和人工智能认知系统等相关概念。
2024-03-03 23:42:44
934
原创 数据安全技术体系建设的整体考量和建议落地方案
随着企业数据治理和应用建设工作的不断深入，数据安全变得越来越重要了，大家作为数据安全和流程体系建设的技术管理者、架构师、技术人员和数据运营管控人员，数据安全需要在技术和管理方面结合企业实际进行思考和落地，安全技术体系建设是一个整体性系统工程，需要从上往下的整体规划，也需要从下往上的分步实施和汇总总结梳理，是一门实践性较强的工程。以下内容来自数据安全与流通相关书籍的阅读和总结整理，供大家参考。
2024-02-25 18:22:13
65
原创 如何将在线大模型的API 封装为本地 API服务
目前，LLM大模型正以雨后春笋般出现，不同领域、厂家的大模型层出不穷，有支持本地微调、部署的开源大模型，也有提供 Web 及 API 服务的通用大模型。不同的大模型有着不同的调用方式及参数，比如讯飞星火认知大模型支持websocket 连接调用，文心一言则直接使用 request 调用，ChatGPT和智谱AI等有自己的开放API直接调用，可以说，各自之间都存在差异。对于不同调用方式的大模型，如果不能统一调用，就需要在程序代码中增加很多复杂的业务逻辑和细节，增加了程序开发的工作量，也增加了Bug和维护成本。
2024-02-18 22:39:07
340
原创 文档分割和文档词向量化的几种实现方式
本文主要基于大模型，或调用大模型API实现文档的分割和文档词的向量化，类似于word2vec机制，大家在未来做相关分析、情感分析、文字生成、智能推荐等方面，都需要先将已管理的文档进行分割和向量化，分割时为了将大的篇幅变短，变为以核心关键词为主的list，向量化是将关键词组合的文档进行矢量化表征，目的是为了借助计算机实现数学方面的运算处理。目前基于大模型主要有以下三种方式实现向量化。
2024-02-13 12:28:44
494
原创 读书笔记--人类简史内容梳理和阅读感悟2
主要讲述了人类如何融合统一，人类的融合统一是一个不可逆转的历史趋势，全球化是人类融合统一的重要表现形式，人类未来的发展将更加依赖于合作与互信；也讲述了科学革命是如何对人类的做事、思考方式进行改变等，了解到科学革命如何让欧洲人称霸世界，科学革命可能给人类带来的两面性问题等。
2024-02-03 23:27:02
668
1
原创 读书笔记--人类简史内容梳理和阅读感悟1
《人类简史》是以色列历史学家尤瓦尔·赫拉利（Yuval Noah Harari）所著畅销书之一。作者从人类起源、认知革命、农业革命、人类大融合、科学革命和信息革命等方面展开编写，书中谈到了语言的出现、虚拟故事、社会秩序、文字的出现、文化的形成等等，以及农业革命带来的社会结构变化和生活方式的改变。其实，我们为什么要了解人类变迁历史，通过了解历史纵深感、思考认知革命、理解文化和虚构故事的力量、了解科技革命对社会的影响等等，这样可以更好的思考未来，提出了对未来的一些猜测和思考。
2024-01-28 21:57:10
558
原创 读书笔记--学习人月神话的金句及感悟3
人月神话这本书其实是在去年初就读过的，当时也总结了两篇读后感，详见之前博客，今天无意间需要参阅一下，就将后面章节进行了重读，特别是《人月神话》的最后部分（第20章），发现之前感觉总结的过于细致，没有整体，在此做一个整体总结，读到最后才发现人月神话是关于人与团队的书，只是恰巧支撑了大型软件编程类项目。
2024-01-21 18:41:31
139
原创 隐私计算的技术体系有哪些
随着各行各业的数字化转型发展，围绕数据的数字化应用如雨后春笋般出现，数据作为业务过程的重要产品，数据作为一种资源、生产要素或商品，越来越得到大家的重视，同时，数据只有在交易流通中才能体现出价值，但需要数据安全的支撑。数据作为数字经济的生产要素之一，具有四方面的特性：数据权属、数据流通、数据安全和数据价值，而数据区别于其他生产要素，数据在流通过程中的安全性需要格外得到重视，而隐私计算就是解决这一问题的利器。
2024-01-14 18:50:20
206
原创 业务数据技术中台概念与相互关系
企业的应用架构建设模式主要为数据+中台(平台)+应用，这里的企业就涵盖互联网大企业和传统企业，大家都在开展必做的事情，即数字化时代的企业数字化转型 。同时，正好最近在做顶层设计和数字化转型整体应用架构设计，就梳理了一下中台发展历程，中台是阿里巴巴在2015年最早提出来的（所谓的大中台、小前台）。其实，很早以前银行系统早就提出了middlelayer的概念，只是当时叫做中间层，并没有叫做中台，感觉中台还是平台的概念，只是中台更加体系化和系统化，并加入了一些管理运营机制方面的内容。
2024-01-06 18:49:16
385
原创 2023年工作总结
对自己过去一年的工作和学习内容，还是挺满意的，希望明年继续能够身心健康的投入到生活和工作中，让自己在数字化素养、科技、文学等方面有所进步，让自己持续在技术方面、认知方面和体现自身价值的硬实力方面都有所突破、沉淀积累。
2023-12-29 23:03:33
523
原创 读书笔记--构建数据湖仓阅读有感
数据因业务开展而产生，后续数据收集汇总后，数据需要用来分析和使用，进而形成分析服务，用于支持企业的战略决策和价值挖掘，用于商业决策，而分析数据需要不同类型数据的融合关联，以及提供数据挖掘的分析基础设施环境，否则数据就还是以原始数据方式存放，没有合适的信息和工具供数据科学家或用户便捷使用，因此提出了数据湖仓，他综合了数据仓库的数据结构和数据管理特性，同时借鉴了数据湖的低成本存储和支持多种类型数据的组织存储特性等。
2023-12-24 23:45:00
924
原创 工业数据的特殊性和安全防护体系探索思考
随着工业互联网的发展，工业企业在生产运营管理过程中会产生各式各样数据，主要有研发设计数据、用户数据、生产运营数据、物流供应链数据等等，这样就形成了工业大数据，这些数据需要依赖企业的网络环境和应用系统进行内外部流通才能实现价值挖掘，如何高效安全的管控这些数据？并基于这些数据，结合企业的业务流程和管理活动，引入信息新技术驱动，开展多种形式的数据应用，实现数据价值挖掘呢？就需要理清楚这些数据的特点，应用价值效果，如何建立安全合规防护体系，实现数据在不断流通过程中的再利用和价值再造等等。
2023-12-18 10:58:28
295
原创 信息安全、网络安全和数据安全的相互关系
信息安全概念最大，也是最早的概念，甚至在没有计算机就已经出现了，网络安全和数据安全是并行的概念，网络安全和基础设施安全是通信链路与基础设施的安全，网络安全需要建立在基础设施安全的基础上开展，因此统称为网络安全，数据安全是最近随着数据转变为生产要素才提出的，主要围绕数据的全生命周期（采集、存储、利用、加工、传输、提供和公开等）开展的安全防护与监测控制工作。总体来说，信息安全包含数据安全、网络安全，网络安全离不开基础设施安全，数据安全与网络安全是平等地位。
2023-12-10 21:35:07
466
原创 企业数字化转型应该做什么
企业做数字化转型目的是为了赋能业务，因为原有老业务发展了这么多年，好做的都已经做完了，目前已进入了深水区，需要引入新的创新源泉，需要跨界创新，特别是这几年IT技术的发展，需要通过IT进行借力赋能，数字化和信息化最大的区别在于随着数字化转型的不断演进，数字化成果会直接指导业务行动。同时，大家也要意识到企业数字化转型不是一连就成，一连就智能，需要结合业务环节，不断分析业务，应用于业务，需要时间，需要全员多个岗位人员的共同努力，在日常业务开展过程中，逐步将知识和经验数字化并沉淀到系统中。
2023-12-02 23:32:22
131
原创 如何基于OpenCV和Sklearn库开展数据降维
在做数据分析或者机器学习应用过程中，不可避免的需要对数据进行降维操作，好多垂直行业业务中经常出现数据量少但维度巨大的情况。数据降维的目的是为了剔除不相关或冗余特征，使得数据易用，去除无用数据，实现数据可视化，提高模型精确度，减少运行成本，减少特征个数并关注本质特征，确保数据特征属性间相互独立。
2023-12-02 22:29:22
310
原创 如何基于gensim和Sklearn实现文本矢量化
利用机器学习或深度学习开展文本分类或关联性分析之前，由于计算机只能分析数值型数据，而人类所熟悉的自然语言文字，机器学习算法是一窍不通的，因此需要将大类的文本及前后关系进行设计，并将其转换为数值化表示。一般来说，文本语言模型主要有词袋模型（BOW）、词向量模型和主题模型，目前比较常见是前两种，各种机器学习框架都有相应的word2vec的机制和支持模型，比如gensim和Scikit-learn（简称Sklearn），词袋模型向量化技术主要有One-Hot、文本计数数值化、词频-逆文档频率（TF-IDF）
2023-11-28 22:45:24
398
原创 读书笔记--从一到无穷大的关键金句和阅读感悟
作为20世纪最经典的科普类图书之一，当时读的懵懵懂懂，现在重新阅读又有了不同的感受，再结合过去的科研工作，深刻体会作者如何用通俗易懂、幽默风趣的语言来阐述科学中的事实和臆测，体会到了数学的魅力（特别是数论），体现了作者的深厚科学素养和人文底蕴。本次主要阐述第一二部分大数来历、无穷大数列、时空转换和相对性等内容，第三四部分的微观世界和宏观世界，将在后面陆续开放出来。作为从事科研工作的一员，我觉得大家还是要是不是的阅读一些经典的科普图书，领会过去各个大师级人物是如何开展科学研究和实验验证的。
2023-11-19 20:31:35
520
原创 如何基于OpenCV和Sklearn算法库开展机器学习算法研究
目前比较有名的机器学习算法库主要有OpenCV和Scikit-learn（简称Sklearn），二者都支持各种机器学习算法，主要有监督学习、无监督学习、数据降维等，OpenCV的所有机器学习相关函数都在OpenCV ML里面描述，OpenCV对图像处理方面有比较大的优势，后续在单独说明，Sklearn是目前机器学习领域最完整、同时也是最具影响力的算法库，基于Numpy, Scipy和matplotlib，包含了大量的机器学习算法实现，同时，Sklearn包含了非常多的已建设规范好的数据集，如波士顿数据集等。
2023-11-15 17:31:18
839
原创 如何利用Python实现分词和NER的Web服务
家都知道python在数据处理、数据分析和机器学习等方面的强大之处，那么如何使用Python实现Web方式的HTTP应用和服务呢，其实有很多种方式，比如gradio、streamlit等等实现web应用，利用FastApi实现web服务等，具体详见之前的[大模型应用文章]，本文采用tornado框架实现http web服务，并结合自然语言处理（NLP）的分词和实体识别的需求，分别实现如何提供相应的http服务。
2023-11-05 15:55:27
167
原创 知识图谱--Jena基础操作和检索推理应用
本次主要对Jena的基础操作和如何应用进行了实践总结，同时结合了D2R，将结构化数据转换成Jena可以加载的格式（即RDF，后缀是.nt），Apache Jena作为一种开源的Java语义网框架，主要功能有RDF数据管理、RDFS和OWL本体管理、SPARQL查询处理；推理主要有基于规则的推理引擎，可执行RDFS和OWL本体推理任务。利用Apache Jena存储数据目前主要采用TDB方式，性能最好， 支持几十亿条记录，同时利用Apache Jena Fuseki存储和管理三元组，支持SPARQL查询。
2023-10-27 22:37:20
581
原创 大模型与知识图谱如何相互助力
在大模型发展的当下，知识图谱与大模型的融合发展成为一个有意义的探索方向。知识图谱是对数据/文本的压缩，通过知识建模定义的知识的结构规范，提炼出知识最本质特征和语义。因此，schema是一种强范式指令，大模型是in-context learning，借助大模型来，实现自动生成常识知识的schema定义（垂直细领域、业务实体特有schema仍需专家）、以schema作为prompt约束，生成高质量的结构化知识并沉淀到知识图谱。比如在知识建模、知识抽取、知识推理探测等方向开展互动。
2023-10-22 17:12:08
255
nltk-data语料库和模型资源
2022-11-05
scipy手动安装包
2017-09-24
单页Web应用：JavaScript前端到后端--源代码
2016-06-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人