weixin_43715205的博客

原创 AI工作最新进展4.27

2、采用本地小模型算法，基于具体的异常，自行建模、训练等，实施周期较长，由于只实现固定的异常，资源会大大下降，性能会有较大提升(4、知识库检索测试工作，经过大量的测试，得出阶段性结论：在上传更多文档时，知识库检索准确性没有明显下降。基于43个文档，对知识库管理系统进行重构，主要内容包括：环境更换、文档整理及上传、检索机制优化、测试。1、采用大模型成形算法，实施周期较短，但分析视频大约需4倍的时间，即分析1分钟视频大约需要4分钟时间。标红的是应该提取的内容，标绿的是提取到的内容。

原创 智能检索知识库​

上面视频，以1中的文字素材为基础，使用AnythingLLM、DiFy、数合知识库三个产品，选取了不同的场景进行演示对比。定位：专注于本地化部署的企业级知识库问答工具，支持私有化LLM（如Llama 2、GPTQ量化模型）或商业API（如OpenAI）。快速获取精准答案：员工无需手动翻阅大量文档（如产品手册、合同、技术文档），直接通过自然语言提问获取答案。减少重复性工作：HR、客服、技术支持等部门可自动化处理常见问题（如考勤制度、产品参数）。处理过程：分段策略优化、向量模型优化、检索方式优化、提示词优化。

原创 AI应用-数合数字人

数字人广泛应用于多个领域，例如在金融领域，宁波银行的“小宁”和渤海银行的“小海豚”作为数字人大堂经理和在线客服，为客户提供业务咨询和金融服务。基于先进的AI技术，仅需1秒视频或1张照片，就能在30秒内完成数字人形象和声音克隆，在60秒内合成4K超高清视频。智影数字人：在数字人视频合成的速度和效率上表现出色，能够快速生成高质量的数字人视频，但在模拟真人视频合成和本地部署能力方面的具体表现暂不明确。支持，仅需1秒视频或1张照片，30秒内完成数字人形象和声音克隆，60秒内合成4K超高清视频。

原创 DeepSeek技术在采油厂的应用与价值

通用行业：AI数字人 AI智能分析（文本转SQL）公安行业：AI视频巡检（法制）、AI通查（全局）一、DeepSeek技术概述。税务行业：AI加油量评估平台。

原创 分钟级场景示例

需求说明：接入38张influxdb表；对38张表的实时数据进行合并处理，最终生成一张表；加密，并通过接口推送的方式推送到指定平台；2、接入任务配置，通过数据管理-接入管理，配置接入任务，共配了38个接入任务。1、数据源配置，通过数据管理-数据源管理，配置源端数据库连接。本例涉及如下5个模型，4个基础表模型，1个合并及处理模型。2、第二步：数据合并及处理模型。

原创 年末 总结

2、其他行业，本年度扩展了3个行业，其中一个行业，作为业务模型构建工具，管理接入的数据资产，并由业务人员直接完成业务建模，近期正在组织大规模建模大赛;另外一个行业，从接入到处理，再到数据加密，再到接口推送，均由平台来完成，最新上的一条业务线，接入+处理+加密+推送一分钟一更新；3、接口，扩展了原来的接口服务功能，增加了接口接入，服务封装，接口服务审批，提供请求和推送两种接口等功能。1、接入，基于各项目需求，增加了kafka接入、influxdb接入，优化接入相关功能，基于性能、功能做了重构。

原创 clickhouse测试报告

针对当前实施的项目，面临着两个主要挑战：一是需要存储更详细的原始数据和中间数据，二是现有基于MySQL的数据存储解决方案在数据量增长时性能受限，特别是在进行跨年历史数据的即时分析时。为了解决这些问题，对ClickHouse进行一系列的性能测试。

原创 POSTGRESQL版本测试

近期客户对与数据库的查询性能，提出了较高的要求，前期我们给客户提供的数据库是POSTGRESQL10，既然客户又了新的要求，第一时间想到的就是通过版本的升级来满足客户的要求，这样后期实施时，只会涉及数据的迁移工作，不用考虑软件平台改造问题，并且在数据库不变，只是升级版本的情况下，迁移工作也会相对简单。选择了POSTGRESQL17，原因如下：PostgreSQL 17带来了众多激动人心的新特性和性能优化，从块级别增量备份到WAL锁的改进，都体现了PostgreSQL团队对数据库性能和可用性的不懈追求。

原创 数合平台功能-管理角色

与我的目录对应个人资源（个人模型、个人标签、个人组件、个人组合）所不同的，共享目录对应公共资源，包括共享模型目录管理共享审批通过的模型、共享标签目录管理共享审批通过的标签、发布组件目录管理发布的组件、发布看板目录管理发布的看板。（1）实体管理，定义具体实体，实体颜色定义后续展示颜色，实体主键字段、实体名称字段需要和后续关系管理配置一致，实体图标需要自定义，并初始化到程序中，实体类型系统初始化有两种，默认选择通用图谱。（3）**配置修改，包括元数据引入、配置库管理、配置表管理、配置列管理、限制管理5个功能。

原创 数据权限管理​

数据权限管理是对用户进行数据资源可见性控制的一系列策略和措施，确保不同用户只能访问他们被授权的数据。数据权限管理控制用户对数据的访问，包括数据行权限和数据列权限，确保用户只能访问他们被授权的数据行或列。数据权限管理可以避免误操作、人为破坏和数据泄露，确保只有授权用户才能访问敏感数据。通过数据权限管理，可以细化职责，规范流程，确保不同角色处理不同事务，提高工作效率。不同权限的用户能操作和查看不同的数据，从而实现数据隔离，防止数据交叉，保护隐私。3、通过用户控制保存行数、创建表个数、显示行数。

原创 功能介绍-EXECL导入​

三类为多EXECL文件、单SHEET页（多表格）​。5、根据导入模板，读取EXECL文件数据，将数据保存到数据库中​。5、根据导入模板，读取EXECL文件数据，将数据保存到数据库中​。5、加入错误处理机制，确保在数据导入过程中能够捕获并处理异常​。6、加入错误处理机制，确保在数据导入过程中能够捕获并处理异常​。6、加入错误处理机制，确保在数据导入过程中能够捕获并处理异常​。1、根据要导入EXECL文件格式，定义导入模板​。1、根据要导入EXECL文件格式，定义导入模板​。三、三类EXECL导入​。

原创 数据中台解决方案

多路工具组解决接入困难，了解客户方的数据安全要求，从本项目的实际需求和软硬件条件出发，开发多路接入工具组，并进行部署调试（2周），1月左右达到稳定，第3个月接入所有数据源，正式投入用户使用。2、部署数合建模平台，适配合适的后端计算引擎，作为数据治理、标准化、业务建模的平台，支撑客户10亿级数据分析工作。2、数据接入（中间上中部），展示接入的整体数据量，6个系统，接入数据全量为4亿多。4、任务运行情况（中间下部），展示每天运行的任务情况，包括接入任务2240个和模型任务274个，展示任务异常情况。

原创 新功能介绍​

近期基于客户实际需求，基于现有的数合建模平台，开发了基于API接口的数据接入功能，旨在帮助您轻松地将各种API接口的数据结构化并存储到数据库中。支持主子表结构，能够自动生成数据库结构，并提供直观的界面编辑功能，让您能够轻松管理表名称和外键关系。能够处理各种JSON格式的数据，无论您的API返回的是简单的键值对还是复杂的嵌套结构，我们都能够将其有效地存储到数据库中。支持主子表结构，允许您定义复杂的数据关系，并通过外键约束来维护这些关系，确保数据的一致性和完整性。2. 数据结构化存储​。5. 界面编辑功能​。

原创 数合建模平台简介--4月新版

平台将继续根据市场反馈和客户需求，不断优化现有功能，推动新技术的深度应用，如人工智能、机器学习等，以提供更加强大和全面的数据分析解决方案。灵活的算子组合：14个数据处理算子和9个数据挖掘算子的组合使用，为用户提供了强大的数据处理能力，以适应各种复杂的数据分析需求。动态数据展示：大屏可视化不仅支持静态图表，还能展示动态变化的数据，如实时更新的指标和趋势图，为用户提供实时的业务监控能力。交互式探索：用户可以通过交互式操作，如放大、缩小、拖动等，探索复杂的关系网络，发现数据间的隐藏模式。

原创 数合建模平台简介

数合建模平台简介

原创 数据建模与PASS层

数合建模提供多源异构的数据采集模块、支持实时/离线计算框架，简洁易用的操作环境和平台接口，为政府机构、企业、科研机构、第三方软件服务商等客户，提供大数据管理、开发和计算的能力。让客户最大化的发现与分析行业内部核心业务数据价值，挖掘现有业务和应用系统的潜在商机，培育完好的业务创新产业链，实现数据应用的完整闭环，帮助客户实现价值。1、百万级数据：单节点一般数据库基本满足，如果涉及多个百万级表的关联，建议配置SSD硬盘，加到内存。3、亿级数据：建议多节点，5个节点起，如果预算有限，就要考量配置的能力了。

原创 哪些数据可视化工具适合初学者使用？

数据建模及可视化平台，提供一站式全链路数据生命周期管理方案，支持数据建模，支持报表、图谱、大屏可视化应用的快速构建，支持AI+BI探索实践，全流程免代码，免费使用。

原创 数据分析工具在不同行业中有什么不同的需求？

数合建模是数据建模及可视化平台，提供一站式全链路数据生命周期管理方案，能够帮助用户管理数据资产并挖掘价值。数合建模提供多源异构的数据采集模块、支持实时/离线计算框架，简洁易用的操作环境和平台接口，为政府机构、企业、科研机构、第三方软件服务商等客户，提供大数据管理、开发和计算的能力。让客户最大化的发现与分析行业内部核心业务数据价值，挖掘现有业务和应用系统的潜在商机，培育完好的业务创新产业链，实现数据应用的完整闭环，帮助客户实现价值。一、交管行业，对于数据建模的需求如下。二、各类工具对于上述需求的适用性对比。

原创 有哪些在线数据分析工具可以推荐？

数合建模是数据建模及可视化平台，提供一站式全链路数据生命周期管理方案，能够帮助用户管理数据资产并挖掘价值。数合建模提供多源异构的数据采集模块、支持实时/离线计算框架，简洁易用的操作环境和平台接口，为政府机构、企业、科研机构、第三方软件服务商等客户，提供大数据管理、开发和计算的能力。让客户最大化的发现与分析行业内部核心业务数据价值，挖掘现有业务和应用系统的潜在商机，培育完好的业务创新产业链，实现数据应用的完整闭环，帮助客户实现价值。

原创 数据分析工具有哪些常见的应用领域？

最后，推荐一款数据分析工具“数合建模及可视化”，数合建模是数据建模及可视化平台，提供一站式全链路数据生命周期管理方案，能够帮助用户管理数据资产并挖掘价值。数合建模提供多源异构的数据采集模块、支持实时/离线计算框架，简洁易用的操作环境和平台接口，为政府机构、企业、科研机构、第三方软件服务商等客户，提供大数据管理、开发和计算的能力。让客户最大化的发现与分析行业内部核心业务数据价值，挖掘现有业务和应用系统的潜在商机，培育完好的业务创新产业链，实现数据应用的完整闭环，帮助客户实现价值。可以支持上述6个应用场景。

原创 数据分析工具在不同行业中有哪些应用场景？

最后，推荐一款数据分析工具“数合建模及可视化”，数合建模是数据建模及可视化平台，提供一站式全链路数据生命周期管理方案，能够帮助用户管理数据资产并挖掘价值。数合建模提供多源异构的数据采集模块、支持实时/离线计算框架，简洁易用的操作环境和平台接口，为政府机构、企业、科研机构、第三方软件服务商等客户，提供大数据管理、开发和计算的能力。让客户最大化的发现与分析行业内部核心业务数据价值，挖掘现有业务和应用系统的潜在商机，培育完好的业务创新产业链，实现数据应用的完整闭环，帮助客户实现价值。可以支持上述6个应用场景。

原创 产业图谱DEMO

根据客户需求，设计元宇宙产业图谱。

原创 AI+BI演示

ai+bi演示。

原创 数据建模培训资料

包括基本操作，实际例子。

原创 数据模型/数据建模的含义

包括简单模型和复杂模型，比如有的指标可能用到表很少，条件相对简单，统计方法也比较单一，可以归为简单模型，也有的指标用到很多表，各种复杂的关联关系，条件也比较多，还涉及到一些不常用的函数，可以归为复杂模型。通俗来讲就是，我们在业务分析时，需要的数据遍布在不同的表中（可以简单理解为excel），而很多情况下需要从不同的表中获取我们想要的信息，那么了解表间关系建立表接，并进行相应计算，就是我们要解决的问题。我们建的模型大部分是业务模型，指标体系大多数的本质也是在反映业务本身，也可以归为业务模型。

原创 数据可视化对商业的重要性有哪些？

2、即时反馈和监控：实时监控关键的业务指标和关键绩效指标（KPIs），及时发现潜在问题或抓住发展机遇，并采取相应行动。1、洞察力和决策支持：使商业决策者能够轻松理解数据，发现数据背后的趋势和模式。这对于制定商业决策至关重要。3、资源优化和风险控制：有助于企业更好地理解其运营效率，优化资源配置，同时通过数据分析预估和规避潜在风险。4、提升团队效率和参与度：使非技术人员也能轻松分析数据，提高了团队的整体效率和参与度。

原创 机器学习部分培训资料

这是数合建模-机器学习部分培训资料。

原创 数据分析可被划分为4个重要的类别

2、诊断型：为什么会发生？3、预测型：可能发生什么？4、指导型：我需要做什么？1、描述型：发生了什么？

原创 数据埋点在哪些领域中被广泛使用？

PC端网站（电商、教育），数据埋点被广泛用于收集用户的使用行为，如点击、滑动、输入、购买等，以便进行用户行为分析、用户画像构建、产品优化等。手机端应用中（电商、教育）

原创 机器学习算法如何处理离散型数据？

支持向量机、决策树和随机森林，是可以直接处理离散型数据的机器学习算法。

原创 大数据相关岗位应该学些什么？

需要掌握常用的机器学习算法（如线性回归、逻辑回归、决策树、随机森林、支持向量机、神经网络等），以及如何使用这些算法进行数据分析和预测。掌握关系型数据库（如MySQL、Oracle）和非关系型数据库（如neo4j、Redis）的基本原理和使用方法。了解项目管理的基本方法和流程，以及如何在大数据项目中应用这些知识和技能。需要掌握数据结构的基本概念，以及如何在大数据场景下应用这些知识和技能。了解云计算和分布式计算的基本原理，以及如何在大数据处理中使用这些技术。

原创 卷积网络和递归神经网络有什么区别？

1、卷积网络（Convolutional Neural Network，CNN）和递归神经网络（Recurrent Neural Network，RNN）是两种常见的深度学习模型。4、CNN在计算机视觉任务中表现出色，如图像分类、物体检测；RNN在自然语言处理和语音识别任务中表现优秀，如文本生成、机器翻译、情感分析。2、CNN主要用于处理具有类似网格结构的数据，如图像；RNN则主要用于处理序列数据，如时间序列数据。3、CNN的计算过程是平行的，RNN的计算过程是串行的。

原创 卷积网络有什么优势和劣势？

1、CNN的权重矩阵只与其相邻的神经元相连，这使得CNN的参数数量大大减少，降低了过拟合的风险。2、CNN通过卷积操作提取特征，无论图像如何移动，CNN都能识别出相同的特征。3、CNN通过多层卷积和池化操作，对于处理不同尺度的物体非常有用。4、直接从原始数据开始学习特征，减少了人工干预。1、计算复杂度较高，需要大量的计算资源和时间。2、需要大量的标注数据进行训练。3、决策过程难以理解和解释。

原创 pip install 超时 解决方法

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple 包名。pip install --default-timeout=1000 包名。1、--设置超时时间。2、--改变国内资源。

原创 如何处理高并发情况下的数据请求？

优化数据库设计，使用合适的索引，避免全表扫描，提高查询效率。同时，可以使用读写分离或者分库分表的技术，将请求分散到多个数据库上，提高处理能力。使用缓存可以减轻数据库的压力，提高系统的响应速度。可以将经常访问的数据缓存在内存中，减少对数据库的访问。使用负载均衡技术，将请求分发到不同的服务器上处理，提高系统的处理能力。使用异步处理的方式，将请求放入队列，然后慢慢处理，减轻系统的压力。通过限流技术，限制每个用户的请求频率，防止系统崩溃。

原创 Baichuan-7B vs ChatGLM-6B

Baichuan-7B vs ChatGLM-6B

原创 关系图谱应用演示

关系图谱应用演示

原创 一叶茶仓为什么选择做大数据，大数据对茶叶行业有什么改变？

3、通过分析消费者购买行为、偏好和市场趋势，可以帮助茶叶企业更好地定位市场，制定营销策略，推出符合市场需求的产品。1、大数据可以帮助茶叶种植者，通过分析气候、土壤、水分和植物健康等数据，来优化种植条件，提高茶叶质量和产量。2、利用图像识别技术，可以帮助茶农更准确地识别何时采摘茶叶，从而提高采摘效率和茶叶品质。5、通过预测分析，帮助茶叶企业识别潜在的市场风险和供应链问题，从而采取预防措施。4、可以用于监控和优化供应链，减少浪费，降低成本，提高效率。通过“数合建模及可视化”工具，可以完成上述的需求。

原创 哪些数据分析工具很受欢迎？

原创 AI 和机器学习的区别是什么？

1、机器学习： 是AI的一个子集，专注于通过数据驱动的方法来训练和构建模型，使机器能够从数据中学习并做出决策或预测。人工智能（AI）是大的概念，它指的是赋予机器类似人类的智能和能力，AI的目标是创建能够像人类一样思考、学习的机器。3、自然语言处理：涉及到使计算机能够理解、解释和生成人类语言的技术。5、专家系统：模拟人类专家的决策过程，用于解决特定领域的问题。2、深度学习：它使用多层神经网络来模拟人脑处理信息的方式。4、计算机视觉：使计算机能够“看到”和理解图像中的内容。