【PostgreSQL使用】最新功能逻辑复制槽的failover,大数据下高可用再添利器 使用数据库除了存取数据快捷以外，还有一个非常重要的目的，就是它有一整套的机制来保障数据访问的高可用，持续性。当然逻辑复制也不例外，当我们正在订阅的主库故障发生主备切换时，仍然希望数据库对象的变更订阅不会丢失，能持续收到发布者的消息。这在以往的PostgreSQL版本中是没有的，最新的PostgreSQL 17版本终于完善了这一功能，逻辑复制支持了failover特性，提升了逻辑复制的高可用性。本文通过搭建逻辑复制的failover部署，来试一试逻辑复制的failover倒底如何。

阅读 9.8k

110赞

收藏 105
Java 大视界 -- Java 大数据在智能交通智能停车诱导与车位共享中的应用 摘要： 本文探讨了Java大数据技术在智能停车系统中的应用，通过真实案例展示了技术如何解决城市停车难题。文章详细介绍了哈尔滨极端气候下的设备续航优化方案（如动态调整帧率和传感器休眠），以及基于LSTM模型的故障预测系统（准确率达90%以上）。同时分享了广州车展应急共享机制（单日疏导8200辆车）和成都社区错峰共享模式（提升车位利用率42%）。特别强调了技术落地的民生细节，如医院救护车优先通道、孕妇专属车位等设计。Java技术不仅实现了高效数据处理（10万条/秒），更通过政企协同和用户习惯适配，让智能停车兼具

阅读 1.9k

46赞

收藏 42
大数据领域分布式计算的流计算技术 随着物联网、移动互联网和实时监控系统的普及，企业每天产生的实时数据量呈指数级增长。传统批处理技术在处理海量实时数据时面临延迟高、响应慢的问题，流计算技术应运而生，成为解决实时数据处理的核心方案。本文将从技术原理、架构设计、算法实现、工程实践四个维度，全面解析分布式流计算技术，涵盖从基础概念到复杂场景的完整知识体系，帮助读者建立对流计算技术的系统性认知。核心概念：对比批处理与流处理，定义流计算的技术边界技术架构：解析分布式流计算的分层架构与核心组件算法原理。

阅读 1.0k

16赞

收藏 23
Java 大视界 -- Java 大数据机器学习模型在电商供应链库存协同管理与成本控制中的应用（421） 本文结合华北鲜达（生鲜）、智选 3C（3C）两个实战案例，详解 Java 大数据 + 机器学习（LSTM/GNN）在电商供应链库存协同与成本控制的应用。涵盖需求预测（含生鲜保质期约束）、库存分配（含冷链时间 / 温度约束）核心模块，附完整可运行代码、落地避坑指南（4 个典型坑点）、性能优化参数，改造后生鲜损耗率从 18%→11.5%，调拨响应从 24 小时→2.3 小时，投资回收期 11 个月，为电商技术从业者提供 “能落地、能省钱” 的解决方案。

阅读 2.1k

49赞

收藏 41
掌握大数据领域数据预处理，开启高效分析之门 大数据预处理不是“拍脑袋”的操作，而是标准化、可复制的流程。数据采集与导入：把分散的数据源（日志、数据库、CSV）装进“分析容器”；探索性分析（EDA）：摸清楚数据的“脾气”（分布、缺失、异常）；数据清洗：修复“脏数据”（缺失、重复、异常、格式错误）；数据集成：合并多源数据（比如用户表+订单表）；数据转换：把数据变成模型能“读懂”的样子（编码、归一化、特征衍生）；数据降维（可选）：减少特征维度，提升分析效率。大数据预处理的流程可以总结为“读→看→修→合→转→缩读：导入多源数据；看。

阅读 936

28赞

收藏 12
从“存下来”到“算得快”：工业大数据下半场的胜负手 工业数字化转型正从"连接万物"迈向"即时决策"阶段，DolphinDB时序数据库通过存算一体架构解决了工业4.0的新瓶颈。传统方案因"存算分离"导致数据价值被延迟吞噬，DolphinDB通过库内计算消除数据搬运，将处理延迟缩短至微秒级。其流批一体范式重塑开发效率，支持同一套代码同时用于模型训练和实时监测。作为AI智能体的"实时记忆体"，DolphinDB以亚毫秒级延迟为工业AI提供上下文，同时显著降低硬件成本。这种以数据库为中心

阅读 2.2w

59赞

收藏 64
在大数据环境中如何设计数据集市 数据集市是面向特定业务部门或主题领域的数据子集，通常从企业级数据仓库或原始数据源中提取、转换并加载（ETL），为特定用户群体提供快速、精准的数据服务。与全企业级数据仓库相比，数据集市更聚焦、更灵活，适合快速响应局部业务需求。在大数据架构中，数据集市常位于数据湖（Data Lake）或数据仓库（Data Warehouse）之上，作为“最后一公里”的数据服务层，直接对接报表系统、仪表盘、自助分析工具等前端应用。

阅读 1.1w

22赞

收藏 11
【AI】法律Agent：合规检查与文档生成 本文摘要： 《法律Agent：合规检查与文档生成》探讨了AI Agent在法律领域的应用与发展。文章首先阐述了AI Agent从对话工具向执行引擎的转变趋势，指出法律Agent已成为AI时代的重要技术。核心内容包括：1）概念解析，区分传统AI与执行式AI的关键差异；2）技术架构分析，展示从基础设施到应用层的五层模型；3）核心算法实现，包括基础执行框架和ReAct循环范式。文章通过代码示例详细说明了Agent的任务理解、规划执行和结果验证流程，为开发者提供了实用参考。最后强调法律Agent在合规检查和文档生成

阅读 31

0赞

收藏 0
时序数据库选型从迷茫到清晰：国产DolphinDB凭什么成为大数据场景下的首选？ 本文针对大数据场景下时序数据库选型难题，从实际项目经验出发，分析了国外主流产品（InfluxDB、TimescaleDB、OpenTSDB）在写入性能、查询效率、存储成本等方面的痛点，重点推荐国产时序数据库DolphinDB。该数据库具备每秒千万级数据点写入、秒级复杂查询响应、10:1超高压缩比等优势，支持水平扩展和主流大数据生态对接，且国产化适配完善、授权成本仅为国外产品的1/3。通过实际案例证明，DolphinDB能显著降低存储成本（某项目节省90%存储空间），是时序数据管理的优选方案。

阅读 3.0w

71赞

收藏 70
计算机毕业设计Kafka+Hadoop+SparkML电影推荐系统 电影用户画像系统 电影可视化 电影爬虫 电影可视化系统 电影大数据 摘要：本文介绍了一个基于Kafka+Hadoop+SparkML的电影推荐与用户画像系统项目。系统采用大数据技术架构，整合离线/实时推荐算法（ALS协同过滤+内容推荐）和多维度用户画像分析（兴趣标签+行为聚类）。项目包含数据采集、预处理、模型训练等完整实施流程，提供个性化推荐（响应时间≤1秒）和动态用户画像更新功能。交付成果包括系统源码、技术文档和可视化Demo，适用于毕业设计或实际应用场景开发。

阅读 822

28赞

收藏 15
大数据领域数据工程的实时处理技术 实时数据处理的基本概念和技术原理主流实时处理架构的设计思想实际应用中的技术选型和实现方案实时数据处理面临的挑战和未来发展方向范围涵盖从基础理论到实践应用的完整知识链，重点聚焦于工业界广泛采用的实时处理技术。首先介绍实时数据处理的基础概念然后深入分析核心架构和技术原理接着通过实际案例展示技术实现最后探讨应用场景和发展趋势实时数据处理(Real-time Data Processing)：在数据产生后极短时间内(通常为毫秒到秒级)完成处理和分析的技术。

阅读 1.0k

10赞

收藏 24
大数据领域 OLAP 在旅游市场趋势分析中的应用 本文旨在探讨OLAP技术在旅游市场分析中的具体应用方法和价值。我们将覆盖从基础概念到实际实现的完整知识链，特别关注如何利用OLAP的多维分析能力来识别旅游市场中的趋势和模式。文章首先介绍OLAP的核心概念，然后深入其在旅游市场分析中的具体应用方法，接着通过实际案例展示实现过程，最后讨论未来发展趋势和挑战。OLAP(联机分析处理): 一种能够快速分析多维数据的计算技术数据立方体: OLAP中的核心数据结构，用于存储和汇总多维数据钻取(Drill-down): 从汇总数据深入到详细数据的分析操作。

阅读 993

14赞

收藏 8
别再拍脑袋上线了：用大数据把 A/B 测试和在线实验平台这件事干“正经” 本文探讨如何利用大数据科学设计A/B测试和在线实验平台。作者指出，当前很多团队仅凭直觉决策，而真正的A/B测试需要严格的流量隔离、可追溯的数据链路和统计学验证。一个可靠的实验平台应具备：基于一致性哈希的稳定流量分桶、分层的指标体系（北极星指标、护栏指标和诊断指标），以及实时+离线的数据链路架构。此外，作者提醒要警惕统计显著性的误读，建议关注效果区间和最小可感知效果。文章最后强调，A/B测试的核心价值是承认初始假设可能错误，建议从流量、数据和指标这些基础做起，而非盲目追求平台化。

阅读 869

18赞

收藏 15
作者推荐
格发gofar
武汉格发信息技术有限公司，格发许可优化管理系统可以帮你评估贵公司软件许可的真实需求，再低成本合规性管理软件许可,帮助贵司提高软件投资回报率，为软件采购、使用提供科学决策依据。许可分析,许可优化,许可管理,许可授权,软件授权
关注
跨境摸鱼
一条搞跨境的摸鱼选手
关注
江瀚视野
盘古智库高级研究员
关注
华夏泰科指尖申报¹³⁸¹⁰⁹⁹⁴⁷⁹⁵
项目申报就找华夏泰科!₁₃₈₁₀₉₉₄₇₉₅(v同号)欢迎咨询~~
关注
TDengine （老段）
目前在涛思数据从事 TDengine 数据库开发，曾在腾讯公司从事多年大数据研发工作
关注
跨境猫小妹
跨境电商从业8年。 DTC品牌出海深度玩家！ 跨境电商干货分享！
关注
定制软开_老叶
感谢您的关注   12年商业模式设计师 《100套赢在私域》分享   各种系统开发，DAPP ，小程序   300+技术开发团队
关注
技术专家
鸽姆公司致力于在人工智能领域开辟新路径，突破 AI 发展瓶颈，引领行业向更高智慧层级迈进。凭借对技术趋势的深刻洞察与创新追求，在科技市场独树一帜，专注打造卓越 AI 解决方案，重塑 AI 与人类交互及服务模式。 创始人邓斌（英文名 Kucius Teng，笔名贾龙栋），拥有中国科学技术大学软件硕士学位，长期深耕微媒体、人工智能等领域。他专业能力强，在互联网等方面实现创新突破。管理上，具备独到战略眼光与精准战术实施能力，国际化视野为企业赋能。在团队和项目管理中，能精准组建高效团队，优化资源配置，成功管理大型 IT 项目。其对技术趋势极为敏锐，前瞻性布局助力企业抢占先机，还构建了紧密行业关系网络。
关注
大模型.
取代你的不是AI，而是会使用AI的人 —— 埃隆·马斯克
关注
易成技术团队
一个好的项目管理，是70%在流程、规范、工具，剩下的30%自由发挥。一个不好的管理，只有地板，每个人都要自己想办法够到天花板。一个好的工具，就是帮助团队够到天花板的台阶。
关注