hhue2007的专栏

探讨了软件架构设计中业务、功能、数据和应用四种架构的关系及架构师的工作方法。四种架构形成驱动链条：业务决定功能，功能决定数据模型。架构师需通过"洞察需求、分而治之、决策权衡"三个环节开展工作，采用5视图方法进行多维度设计。需求分析应在项目初期确定，数据架构则在细化阶段确立，以避免后期耦合问题。架构决策需记录在案，确保团队遵循设计原则。架构设计本质是在业务需求与技术约束间寻找最优权衡。

摘要：AI研发与传统软件研发在项目流程上存在显著差异。AI项目需求更具探索性，需多角色协作进行数据管理、模型选型和评估；设计需考虑AI集成方式（如RAG/微调）及工程化解决方案；编码需兼顾传统规范与AI代码处理；测试强调数据质量及模型指标评估；运维需新增模型监控和用户反馈机制。而传统项目流程更线性明确，需求确定后按部就班开展设计、编码、测试和运维，团队构成也相对标准化。两类项目在技术复杂性、迭代方式和专业角色需求等方面形成鲜明对比。（149字）

最近在结合agent应用开发的过程中，对MCP进行了一些研究。MCP主要涉及到服务端和客户端，客户端可以自己基于mcp.client编写，大部分情况下不用自己编写，有很多现成的client，比如在vscode中的cline，基于nodejs的inspector等等，本次主要研究如何实现MCP服务器，如何用inspector客户端调用mcp服务，如何自己编写一个简易的mcp client等等

大家在日常工作中经常需要阅读或审核各类报告、纪要、文章等材料，但经常由于时间有限，无法完整的阅读全文，因此就需要类似于秘书或者助手角色来帮助整理出报告的主要内容，观点和支撑信息等，这些需求恰恰是目前AI大模型的强项，因此本次就基于dify的工作流实现单个报告材料的智能化辅助阅读，支持pdf、word、txt、csv等，能够实现各类报告、文章的总体结构内容的自动阅读总结，同时根据内容提出针对性、有深度的问题供参考。

林业方面主要有三大方向，即林业生态、生物灾害和疫源疫病，目前已经建成了一些信息化系统，但在数字化智能化方面偏弱，就想着如何借助人工智能、物联网、大数据和数字孪生等数字化技术来推动林业业务的转型发展，所以就编写该方案，主要包括项目背景、目标、核心任务、实施路径和资源投入情况，同时对用到的主要核心技术模块进行了梳理设计。

本次主要做了一些workflow和Agent的应用实现，供大家参考。主要目的是为了进行两个内部报告文件的内容对比，特别是报告中的各类审批表、申请表、推荐表和流程对比，本地数据通过知识库方式分别加载到两个知识库中，编制工作流针对同一个问题进行知识库检索，之后将查询结果进行合并，再一起提交给LLM进行对比，最终将对比分析结果以markdown方式返回显示。主要包括如何构建知识库，如何设计workflow、如何将工作流发布为工具、如何设计提示词、如何在agent中引入前面发布的工具，最终通过agent实现与用户交

本文尝试将Open WebUI前后端进行分离，单独部署，目前已经实现了前后端分离，前端是src+static目录（编译完成后为build），后端是backend目录，后端需要运行在python环境，前端编译完成后部署到nginx运行即可，当然需要对源码很多地方进行修改，svelte脚手架类似于VUE、React，写法基本与VUE类似。

总体来说，2024年读书感悟有深度了，blog内容有深度有自己的特色了，技术方向明确了，也具体沉到技术内部了，比如做了基于大模型的智能问答，数字孪生方向带领团队有新的试点突破。整体来说，即将过去的一年工作和学习收获颇多，编写了55篇blog，158篇笔记，4篇paper，阅读10多本书，40余份报告等等。希望明年继续能够身心健康的投入到工作生活中，让自己在数字化素养、数智化技术、文学等方面有所进步，让自己持续在技术方面、认知方面和信息业务融合等方面都有所突破和积累。

在的基础上，作为其补充，本篇主要阐述如何基于assimp来实现三维模型格式转换，包括assimp源码编译、二进制包直接命令行模式，以及基于pyassimp实现结合动态链接库进行模型转换，命令行模式下支持的文件转换格式偏少，主要包括obj/stl/stlb/ply/collada等，详见下方的formatTransF41代码，基于pyassimp的模型转换支持的主要格式包括obj/fbx/gltf/glb/ply/stl/collada等，供参考使用。

最近正在开展工业三维模型解析和可视化技术跟踪研究学习，结合各类工业三维模型文件格式情况，为了后续的三维模型规范化、解析处理和渲染显示的需要，主要基于Blender、assimp、trimesh、vtk等框架实现三维模型格式转换，部分模型通过转换实现了轻量化。目前支持常用的三维模型格式，比如支obj/fbx/gltf/glb/stl/ply等。

在做各种大模型chat和应用后台服务过程中，需要记录不同应用、不同类型问题的调用情况，同时要求这种记录要快速便捷，因此就想到用redis来做统一记录，目前是同步调用方式，后续有空提供异步调用方式，从而实现不同后端服务的调用情况记录，以便后续做问题归类、频次、高峰分析等，详见第四部分的核心代码。实现了GET方式的新增key，获取key值；实现了POST方式的新增questions，获取questions值，json格式，这种方式相对全面。

一个开源翻译方案（即LibreTranslate），对于通用和计算机类内容的翻译效果还是不错的，因此就对开源翻译代码进行了本地部署和应用服务开发及测试。主要对源码的启动参数、api服务、认证服务和访问权限等内容进行了补充完善，并将依赖的翻译argos-translate包进行了本地配置，还有流量ip限制等。

继去年的基础上，根据对文本生成大模型的研究，基本上实现了本地部署，应用服务设计实现，文本大模型微调等工作。最近结合实际需求，开展了图像识别，特别是图像生成文本，图像整体描述，图像要素描述，图像属性描述，多张图像对比和图像文字识别等等，本文结合目前已开源的三类视觉大模型进行部署实现，实现顺序是先做托管的终端服务，以方便程序调试使用，其次做api服务，方便其他系统或工具调用或联调使用，最后提供web工具，方便用户实际测试使用。目前已支持Llama-3.2-Vision、glm-4v和Qwen2-VL视觉大模型。

Langchain-chatchat从0.3版本开始，支持更多的部署框架，如xinference、Ollama和FastChat，较多的是xinference框架，因此本文也是基于该框架进行模型部署。开始时参考了作者提供的开发指南进行部署，感觉步骤较多且麻烦，因此我就采用直接修改源码方式进行部署，作者提供的前端没有用，主要使用的是libs下面的后端接口和默认基于Streamlit提供的前端测试功能。另外，我更新完善了本地知识库加载的多种文件格式解析模块，增加了验证和路由过滤模块、返回数据格式等。

“青山遮不住，毕竟东流去”，在数字化智能化的浪潮中，我与祖国同舟共济，共赴深空科技之梦。作为信息化数字化智能化技术方面的一位普通公民，我深知自己肩负的使命——在数字化转型的浪潮中，在自己有限的百年（约36500天）生命里，为祖国的繁荣发展贡献自己的青春和智慧。

​大家在做三维可视化研究过程中，经常需要做三维曲面的绘制和相交分析，在不知道三维曲面方程的情况下，如何基于曲面散点数据计算曲面的最大梯度点和梯度线的三维可视化是大家基于曲面分析研究中的重点关注的问题，本文在python环境下，基于numpy、pandas、scipy和matplotlib等，实现了三维曲面可视化，最大前20个梯度点计算，并将其连接形成梯度线。

​GeoToolkit默认自带PillarSurfaceData的三维断面绘制要求断棱（有时叫断柱）必须是单调的，否则组件底层就会自动优化，导致断面出现回弯，相当于出现重叠，无法实现最终的效果。因此，本文主要在之前文章的基础上，拓展了GeoToolKit的三维断面显示功能。本文主要基于GeoToolKit/INT的SurfaceData组件，针对地质研究过程中经常需要在三维空间中显示断面信息，实现了用户自定义散点数据组成的断面断棱的三维可视化。同时支持用户点击颜色栏自行选择适合的颜色栏来显示三维断面，并进

该书主要从财务视角阐述了数据治理对财务数据管理的重要性，同时阐述了目前大部分财务数据的现状，财务数据存在的主要问题等等，明确了数据质量、数据标准、数据安全和主数据管理等方面的问题将对财务数据管理与利用的影响。本次主要针对财务数据问题导致的应用场景影响进行分析总结。财务数据治理是数据治理的特殊阶段特定示例，也需要进行持续不断地演进机制设计，需要从多个层面开展，比如组织机构、制度流程、规范、数据全生命周期质量管理、数据标准体系建设、数据分级责权划分、数据分类安全、系统建设共享等等。

主要基于GeoToolKit/INT组件，针对地质研究过程中经常需要在三维空间中显示三维地层信息，用户需要根据不同的场合定义不同色标来呈现对应的效果，因此在colorprovider已有的18个色标的基础上，实现了用户自定义颜色栏的拓展。同时支持用户点击颜色栏自行选择适合的颜色栏来显示三维地层，并进行相应的交互操作。

向量数据库为构建和部署大型语言模型和生成式人工智能应用提供了强大的基础，为大模型应用落地提供了高效、灵活和安全的数据存储与检索解决方案，极大地提升了大模型应用的实用性和效果。向量数据库处理高维向量数据、执行高效相似性搜索和管理庞大知识库的能力使它们成为释放这些AI技术全部潜力的必要条件。随着LLMs的不断发展和普及到各个行业，向量数据库将在推动创新和提供有影响力的AI解决方案方面发挥越来越关键的作用。

基于曲面做三维物体的移动动画效果，特别是箭头等指向性物体的移动，因此就编写了以下方案，主要实现了三维空间内箭头等物体的创建和指向调整及动画效果等，具体如下：1.基于Thee.js实现箭头等物体创建-THREE.ArrowHelper2.基于Thee.js实现平面和曲面等物体创建-THREE.Mesh3.基于Thee.js实现曲线创建，为了后续箭头沿着该曲线轨迹运动-THREE.CatmullRomCurve34.利用Tween实现箭头等物体移动动画5.利用动画操作箭头位置和朝向来更新实现箭头等物体

随着IT新技术的发展，眼镜作为一种全新的交互方式，未来将逐渐走到人机交互的核心位置，眼镜集成了人机交互过程中的视觉(即眼睛）、听觉（即声音）、手势（即代替键盘鼠标触摸等）及方向位置感知等。这些交互技术的发展构建了元宇宙的基础架构，使得用户能够在虚拟和现实之间无缝切换，体验更加丰富的交互方式。特别是轻便的AR眼镜领域的发展和创新，对整个行业有着重要的推动作用，通过不断的技术研发和市场拓展，不仅推动了AR技术的进步，也为消费者带来了更加丰富和便捷的产品体验。

利用python在做后端数据处理过程中，发现从响应性能、框架灵活性和安全可靠性等角度来综合考虑，总体推荐基于FastApi框架来编写不同类型的后端服务，因此记录并分享给大家。本文主要采用FastApi框架实现http web服务，支持储层研究方面的趋势分析、倾向计算等专业算法实现，实现了如何跨域访问、如何设置白名单、如何设置静态资源，同时包括了常见的get/post请求的处理、单文件/多文件上传解析，并且结合了swagger，实现了服务端接口文档的自动编写和测试发布说明等。

通过这一段时间的学习和倾听，结合DAMA数据管理知识体系学习与项目实践，对大部分数据治理类项目、信息化建设和数字化转型项目的思维模式做了一些总结梳理，具体有如下四种

数据管理、数据治理、数据安全、元数据管理、数据治理等知识体系，都需要按照数据的生命周期开展管理工作。数据生命周期包括计划、设计/启用、创建/获取、存储/维护、使用、增强和处置。

通过学习，发现数字孪生技术的构建过程其实就是数字孪生体的构建与应用过程，数字孪生体的构建是一个体系化的系统工程，数字化转型的最终形态应该就是数实融合互动互联的终极状态。数实融合是每个行业必答题。数字化转型让数字空间和物理空间的交互普遍和频繁，通过数字空间的计算、分析、推演来优化物理空间，已成为数字化转型重要的方法论，数字化转型相关的标准、技术和应用方面推进数字孪生产业的发展完善。

语境关系图和环境因素六边形图是各有侧重、相互补充的关系。语境关系图是环境因素六边形图的细化，描述了每个知识领域中的细节，相当于数据管理的微观视角， 包括与人员、 流程和技术相关的细节。它是基于产品管理（供给者、输入、活动、交付成果和消费者）的SIPOC图的概念。语境关系图将活动放在中心，这些活动生产了满足利益相关方需求的可交付成果。

总共有18张框图，供大家参考。主要涉及数据管理、数据治理阶段模式、数据安全需求、主数据关键关键步骤，主数据架构、DW架构、数据科学的7个阶段、数据仓库建设活动、信息收敛三角、大数据概念架构图、数据管理成熟度等级和组织运营模式。通过这些图的理解、分析与应用，了解到数据管理工作涉及的方方面面，需要组织各方从整体角度持续迭代的开展数据治理工作。

企业通过管理成熟度评估工作，能够全面了解评估企业当前的状态，发现数据管理存在的问题，为满足监管要求做好准备，改进和变革组织形式，分析出公司在数据管理方面的强弱项，识别改进机会，制定改进措施，实施改进方案，引入新技术新方法，不断提升企业的数据管理水平。这些管理成熟度能力模型是逐步递进的，企业在数字化转型过程要要结合公司实际，进行有选择性的开展，聚焦核心业务、关键流程和数据，开展相应的数字化信息化建设，将业务进行数字化转型过程中，不断积累规范化数据，形成数据要素，为后续业务的智能化开展做好储备。

数据治理是一项整体统领性工作，数据治理是一项企业战略层面的工作，为企业提供了治理的原则、制度、流程、整体框架、管理指等，监督和指导数据管理等其他知识领域工作的执行，确保根据数据管理制度和最佳实践正确地管理数据，并可以从其数据中获得价值。详细阐述了数据治理的目标原则、业务驱动因素，也说明了数据治理的范围和聚集点在哪里，数据治理和数据管理的关系，数据治理和IT等其他治理的关系，接下来阐述了数据治理的组织和运营模式，相关的活动有哪些，工具方法有哪些，形成的交付物有哪些，以及如何度量数据治理的效果等等。总体来说，数

数据安全是一项企业层面的统筹协同工作，主要为企业数据资产提供验证、授权、访问和审计等工作，主要目的是为了保护利益相关方的隐私保密要求和数据资产的不当访问，并遵守相应的法规要求，同时也分析了数据安全的手段、方法和工具，常见的数据安全活动和安全类型有哪些，数据安全的3大目标6项原则和3部法规，数据安全过程的4A1E具体指什么，数据安全来源有哪些，数据安全意识的培养等等，如何在数据利用过程中做好数据安全防护控制，也明确了外包过程中的数据安全责任是甲方无法委托出去的，制定数据安全措施必须站在那些将使用数据和系统。

数据管理工作需要技术和非技术的双重技能，由业务人员和信息技术人员相互协作，共同来承担责任，确保组织管理的数据是高质量的，主要驱动力是使得组织能够从其数据资产中获取价值，得到关键信息和知识，在竞争中获得优势。同时，为了做好数据管理工作，首先要做好组织的元数据管理，数据管理工作是一项跨职能的工作，数据管理要站在企业视角开展，需要相关人员从多角度思考，避免数据的误解误用风险，而且不同种类的数据有不同的生命周期、不同的风险，管理要求也有所不同，导致数据管理工作更加复杂多样。数据管理工作同样要业务驱动，需要重点关注对

​继续研读DAMA数据管理知识体系之文件与内容管理章节，结合前两篇博客，本章主要讲述文件或内容管理方面的知识点。现实生活工作中的非结构化数据增长速度要远远快于结构化数据，多达80%的数据存储是在关系型数据库之外，很多特征和有效信息都隐藏在非结构化数据中。因此，管理非结构化数据就成为企业非常有必要的工作，管理非结构化数据需要数据管理专员与其他数据管理专业人员、 档案管理人员的有效合作。而且，如果要理解非结构化数据，就需要借助描述其特征的元数据信息，比如数据格式、模式、主题等。

数据质量管理要聚焦组织或客户的关键核心数据，比如企业的财务报告，监管报告和商业战略书等。数据质量管理不是一个项目，是一个持续性的日常工作。数据质量管理的主要驱动因素是为了提高组织的数据利用价值、工作效率和声誉，并降低成本和风险，明确了数据质量的六大维度，分析了出现数据质量问题的常见原因，如何借助PDCA模型改进数据质量，如何利用各种数据质量工具来剖析数据、发现并提升数据质量，也提出了创建高质量数据的最佳方法有哪些，具体实施措施有哪些，最后梳理了数据质量和数据治理的关系，数据质量是数据治理工作的一部分。

[nltk_data] Error loading averaged_perceptron_tagger，Name or service not known问题的解决办法。

数据存储和操作是数据建模与设计之后紧接着要考虑的一大2方面，或者说是一并考虑的因素。主要考虑数据库后端的存储和操作方面的工作，目的是为了保障支撑业务应用系统的连续性，包括可用性、可靠性、相对隔离性、完整性和一致性等。可以说这部分工作主要是DBA来主导，会涉及一部分网络存储方面的工作，要结合业务选用或混合使用ACID、BASE处理模式等，可以说二者没有绝对的好坏之分，只是适合的场景不同罢了；另外，这部分工作比较重要的数据的备份、恢复和对中间或前端的响应性能。

华为公司的业务范围广泛，市场竞争压力大，迫切需要用一些高效的手段来减轻员工的工作量，让员工各司其职，在各自承担的主营业务工作中投入更大的精力，这一点从他们设置公司层面的数据管理部就能看出来，关于围绕数据的工作，感觉到华为公司上下一盘棋，明确数据工作是业务运行规划工作的一部分，同时专门成立一支队伍，协助各业务版块开展数据治理工作，也就是说，只有将数据工作融入到业务中，数据质量才能提升，只有将数据和财报精密结合，将数据和资金关联起来，数据才能流动利用起来，逐步发挥其价值，后续随着规范化数据的积累

数据建模和设计是应用系统或者数据架构设计过程中必须要整体考虑的事情，只是考虑的层级高度、细致情况不同罢了，大家在做信息化建设过程中，在做业务分析和需求调研过程中，就会同步开展建模设计工作，其实整个数据建模和设计就是数据使用者的使用需求和数据生产者的应用需求之间的一种平衡，没有一种一成不变的标准答案，只是之前大家在应用系统建设过程中较少考虑数据未来的其他应用服务需要，目前数据作为生产要素，各方面提出了更高的要求，导致大家在做数据建模和数据库设计过程中要尽量考虑周全。

企业架构包括企业的业务架构、数据架构、技术架构和应用架构，要想做好企业的信息化数字化建设规划，业务架构是企业领导带领业务领导及业务人员开展策划形成的业务转型的整体发展战略，应用架构是企业为实现业务架构设计的目标而设计形成的整体应用系统、平台、模块或功能构成关系及组织，技术架构是实现应用架构的共同载体和共性浓缩，包括技术之间的支撑关系和沉淀等，数据架构是业务和技术之间的一座桥梁，是业务架构落地实现之前的形式化表达描述，包括企业业务开展过程中的关键要素，要素间关系和流向等。

随着企业数据治理和应用建设工作的不断深入，数据安全变得越来越重要了，大家作为数据安全和流程体系建设的技术管理者、架构师、技术人员和数据运营管控人员，数据安全需要在技术和管理方面结合企业实际进行思考和落地，安全技术体系建设是一个整体性系统工程，需要从上往下的整体规划，也需要从下往上的分步实施和汇总总结梳理，是一门实践性较强的工程。以下内容来自数据安全与流通相关书籍的阅读和总结整理，供大家参考。