[mongo]应用场景及选型

已于 2023-08-15 13:04:47 修改
阅读量464 收藏
点赞数
分类专栏： mongo 文章标签： mongo
于 2023-08-08 13:21:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38805083/article/details/132164777
版权
本文探讨了MongoDB在不同应用场景中的优势，如移动应用、商品信息管理和物联网等，以及其作为OLTP数据库的横向扩展能力。重点讲述了从关系型数据库向MongoDB迁移的理由和难点，包括模式转换、数据迁移方式和工具的选择，如导出导入、批量同步和实时同步。强调了应用主导迁移的方法和研发团队的配合需求。
摘要由CSDN通过智能技术生成

应用场景及选型

MongoDB 数据库定位

  • OLTP 数据库
  • 横向扩展能力，数据量或并发量增加时候架构可以自动扩展
  • 灵活模型，适合迭代开发，数据模型多变场景
  • JSON 数据结构，适合微服务/REST API
  • 基于功能选择 MongoDB
    • image

基于场景选择 MongoDB

  • 移动应用

    • image

  • 商品信息

    • image

  • 内容管理

    • image

  • 物联网

    • image

  • SaaS应用

    • image

  • 主机分流

    • image

  • 实时分析

    • image

  • 关系型数据库替换

    • image

关系型数据库迁移

从基于关系型数据库应用迁移到 MongoDB 的理由

  • 高并发需求 (数千 – 数十万 ops) ，关系型数据库不容易扩展
  • 快速迭代 – 关系型模式太严谨
  • 灵活的 JSON 模式
  • 大数据量需求
  • 地理位置查询
  • 多数据中心跨地域部署

应用迁移难度

  • 关系型到关系型 – 相对简单
  • 关系型到文档型 – 相对复杂
  • 需要考虑
    • 总体架构 (从单体式到分布式）
    • 模式设计（从关系模型到文档模型）
    • SQL 语句 / 存储过程 / JDBC / ORM
    • 数据迁移 （如何处理已有数据？）

总体架构

模式设计

  • 针对已有关系模型，考虑如何用文档模型进行设计
  • image

数据迁移

  • 数据库导出+导入
  • 批量迁移工具
  • 实时同步工具
  • 应用主导迁移

数据迁移方式及工具

数据迁移

  • image
数据库导出导入
  • 停止现有的基于 RDBMS 的应用
  • 使用 RDBMS 的数据库导出工具，将数据库表导出到 CSV 或者 JSON（如 mysqldump）
  • 使用 mongoimport 将 CSV 或者 JSON 文件导入 MongoDB 数据库
  • 启动新的 MongoDB 应用
  • 数据库导出导入: mysql - mongo
    • mysqldump inventory -hxxxx -uroot -p -T mysql-files

批量同步

  • 安装同步工具（如 Kettle / Talend） - 创建输入源（关系型数据库）
  • 创建输出源（MongoDB） - 编辑数据同步任务
  • 执行
  • 适用批量同步，定期更新, 特别是每晚跑批的场景
  • 支持基于时间戳的增量同步，需要源表有合适的时间戳支持
  • 对源库有较明显的性能影响，不宜频繁查询
  • 不支持实时同步

实时同步

  • 安装实时同步工具（如Informatica / Tapdata） - 创建输入源（关系型数据库）
  • 创建输出源（MongoDB） - 编辑实时数据同步任务
  • 执行
  • 基于源库的日志文件解析机制，可以实现秒级数据的同步
  • 对源库性能影响较小
  • 可以支持应用的无缝迁移

应用主导迁移

  1. 升级已有应用支持 MongoDB
  2. 数据插入请求直接进入 MongoDB
  3. 数据查询和更新请求首先定向到 MongoDB
  4. 如果记录不存在，从 RDBMS 读出来并写入到 MongoDB
  5. 重复步骤3
  6. 当步骤4在限定时间段（一星期、一个月）没有被调用，认为迁移完成
  • 需要研发团队配合 ，有一定开发和测试量
  • 为保证不遗漏数据，仍然先要执行一次批量同步

应用迁移比较

  • image
一条闲鱼_mytube
关注
专栏目录
MongoDB应用场景及选型（海量数据存储选型）
西京刀客
07-23 5929
MongoDB应用场景及选型 设计实践中，要基于需求、业务驱动架构，无论选用 DB/NoSQL, 一定是以需求为导向，最终数据存储方案必然是各种权衡的综合性设计。
MongoDB应用场景
ntzzzsj的博客
07-12 3081
传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。其中“三高”是指：
数据存储方案选择：ES、HBase、Redis、MySQL与MongoDB的应用场景分析
东境物语
07-03 4114
本文旨在探讨ES、HBase、Redis、MySQL和MongoDB这五种技术的核心特性和优势，通过分析它们在不同应用场景下的表现，为技术选型提供指导和建议。
无服务计算应用场景探讨及FaaS应用实战
weixin_45583158的博客
08-20 1046
宋文龙，花名闻可，阿里云全球技术服务部高级交付专家，有多年云原生应用开发架构经验以及多年高性能服务器研发经验。目前专注于运用阿里云中间件技术、结合阿里巴巴中台架构经验为客户构建符合行业需...
MySQL与MongoDB，该如何做技术选型？
架构精进之路
10-31 409
hello，大家好，我是张张，「架构精进之路」公号作者。引言一般情况下，会考虑到MySQL与MongoDB如何做技术选型的时候，你一定是遇到了类似于非结构化数据JSON的存取难题，否则大家都直接MySQL开始搞起了。为什么要关注MongoDB呢？下图是DB-Engines 2023年10月数据库的排名统计，可以看到MongoDB总排名在第5，在Nosql数据库中排名第1。既然要做技术选型，那就先要...
无服务计算应用场景探讨及 FaaS 应用实战
阿里巴巴云原生的博客
08-31 701
作者 | 宋文龙（闻可）  阿里云全球技术服务部高级交付专家 什么是无服务计算 无服务器计算（Serverless Computing）在构建和运行应用时无需管理服务器等基础设施。它描述了一个细粒度的部署模型，在该模型中，应用被拆解为一个或多个细颗粒度的函数，在云端托管环境中被触发运行，然后根据需要执行、扩展容量并且计费。各大云厂商 Amazon、微软、Google、IBM、阿里云、腾讯云、华为云相继推出 Serverless 产品。 无服务计算本身是一个概念或者理论模型，落地到具体技.
MongoDB和Elasticsearch的各使用场景对比
格子衫
09-07 4428
MongoDB vs Elasticsearch 两者的定位 MongoDB和Elasticsearch都属于NoSQL大家族, 且都属于文档型数据存储 所以这两者的很多功能和特性高度重合, 但其实两者定位完全不同 MongoDB 是 文档型数据库, 提供 数据存储和管理服务 Elasticsearch 是搜索服务, 提供 数据检索服务 两者的很大区别在于源数据的存储和管理 MongoDB作为一个数据库产品, 是拥有源数据管理能力的 Elasticsearch作为...
分布式数据库（Elasticsearch、Redis、MySQL分布式集群等）场景选型和应用难点
十指波课堂的博客
01-02 1257
近年来，随着国际信息安全形式的日益严峻，国家信息安全策略逐步深入。因此，一行两会连续针对金融业数据库技术受制于人的严峻形势出台了相关政策，以满足构建安全可靠可控的信息技术体系的要求。纵观近年来普惠金融的发展，多用户、低额的客单价带来的主要挑战是数据量、交易额的大幅提高，并伴随着数十倍的交易高峰压力以及交易复杂度的增加。而传统数据库在处理此类应用场景的时，在扩展性、性能、吞吐量和可靠性等方面遇到了明...
mongodb和hbase的区别和应用场景
Lemon_MY的博客
02-20 2436
mongodb和hbase的区别和应用场景
华为云驱动数据创新，共建GaussDB生态__DTCC-国家地理信息公共服务平台天地图GaussDB(for Mongo)应用实
10-04
标题中的“华为云驱动数据创新，共建GaussDB生态__DTCC-国家地理信息公共服务平台天地图GaussDB(for Mongo)应用实”揭示了本次讨论的...这些内容将为我们深入了解云数据库在复杂应用场景中的实际运用提供宝贵的参考。
NoSQL数据库选型指南：深入分析不同NoSQL数据库特性及应用场景
[NoSQL数据库选型指南：深入分析不同NoSQL数据库特性及应用场景](https://images.ctfassets.net/o7xu9whrs0u9/2uvxa4vYUBczluoNDk3WJm/d7db9b45824f6e219243a463a532aef9/db-engines-tsdb.png) # 1. NoSQL数据库概述...
NoSQL数据库选型指南：理解不同NoSQL数据库的特性和应用场景
![NoSQL数据库选型指南：理解不同NoSQL数据库的特性和应用场景]...# 1. NoSQL数据库概述 NoSQL（Not Only SQL）数据库是一种非关系型数据库，它打破了传统关系型数据库的限制，为处理大规模、非结构化数据提供了更...
NoSQL数据库选型与应用：满足不同业务场景的数据存储需求（NoSQL数据库选型指南）
![NoSQL数据库选型与应用：满足不同业务场景的数据存储需求（NoSQL数据库选型指南）]...# 1. NoSQL数据库概述 NoSQL（Not Only SQL）数据库是一种非关系型数据库，它打破了传统关系型数据库的限制，提供了一种更灵活...
智慧旅游景区解决方案PPT(50页).pptx
最新发布
09-21
智慧旅游解决方案利用云计算、物联网和移动互联网技术，通过便携终端设备，实现对旅游资源、经济、活动和旅游者信息的智能感知和发布。这种技术的应用旨在提升游客在旅游各个环节的体验，使他们能够轻松获取信息、规划行程、预订票务和安排食宿。智慧旅游平台为旅游管理部门、企业和游客提供服务，包括政策发布、行政管理、景区安全、游客流量统计分析、投诉反馈等。此外，平台还提供广告促销、库存信息、景点介绍、电子门票、社交互动等功能。 智慧旅游的建设规划得到了国家政策的支持，如《国家中长期科技发展规划纲要》和国务院的《关于加快发展旅游业的意见》，这些政策强调了旅游信息服务平台的建设和信息化服务的重要性。随着技术的成熟和政策环境的优化，智慧旅游的时机已经到来。 智慧旅游平台采用SaaS、PaaS和IaaS等云服务模式，提供简化的软件开发、测试和部署环境，实现资源的按需配置和快速部署。这些服务模式支持旅游企业、消费者和管理部门开发高性能、高可扩展的应用服务。平台还整合了旅游信息资源，提供了丰富的旅游产品创意平台和统一的旅游综合信息库。 智慧旅游融合应用面向游客和景区景点主管机构，提供无线城市门户、智能导游、智能门票及优惠券、景区综合安防、车辆及停车场管理等服务。这些应用通过物联网和云计算技术，实现了旅游服务的智能化、个性化和协同化，提高了旅游服务的自由度和信息共享的动态性。 智慧旅游的发展标志着旅游信息化建设的智能化和应用多样化趋势，多种技术和应用交叉渗透至旅游行业的各个方面，预示着全面的智慧旅游时代已经到来。智慧旅游不仅提升了游客的旅游体验，也为旅游管理和服务提供了高效的技术支持。
智慧旅游实景三维智慧景区建设方案PPT(70页).pptx
09-21
智慧旅游解决方案利用云计算、物联网和移动互联网技术，通过便携终端设备，实现对旅游资源、经济、活动和旅游者信息的智能感知和发布。这种技术的应用旨在提升游客在旅游各个环节的体验，使他们能够轻松获取信息、规划行程、预订票务和安排食宿。智慧旅游平台为旅游管理部门、企业和游客提供服务，包括政策发布、行政管理、景区安全、游客流量统计分析、投诉反馈等。此外，平台还提供广告促销、库存信息、景点介绍、电子门票、社交互动等功能。 智慧旅游的建设规划得到了国家政策的支持，如《国家中长期科技发展规划纲要》和国务院的《关于加快发展旅游业的意见》，这些政策强调了旅游信息服务平台的建设和信息化服务的重要性。随着技术的成熟和政策环境的优化，智慧旅游的时机已经到来。 智慧旅游平台采用SaaS、PaaS和IaaS等云服务模式，提供简化的软件开发、测试和部署环境，实现资源的按需配置和快速部署。这些服务模式支持旅游企业、消费者和管理部门开发高性能、高可扩展的应用服务。平台还整合了旅游信息资源，提供了丰富的旅游产品创意平台和统一的旅游综合信息库。 智慧旅游融合应用面向游客和景区景点主管机构，提供无线城市门户、智能导游、智能门票及优惠券、景区综合安防、车辆及停车场管理等服务。这些应用通过物联网和云计算技术，实现了旅游服务的智能化、个性化和协同化，提高了旅游服务的自由度和信息共享的动态性。 智慧旅游的发展标志着旅游信息化建设的智能化和应用多样化趋势，多种技术和应用交叉渗透至旅游行业的各个方面，预示着全面的智慧旅游时代已经到来。智慧旅游不仅提升了游客的旅游体验，也为旅游管理和服务提供了高效的技术支持。
基于深度学习实现的半监督学习例子.zip
09-21
深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
关于APx测试耳机音频的参数设置及步骤 关于APx测试耳机音频的参数设置及步骤
09-21
关于APx测试耳机音频的参数设置及步骤 关于APx测试耳机音频的参数设置及步骤
jQuery背景可滑动的导航菜单代码，鼠标经过导航时导航背景可滑动，兼容主流浏览器
09-21
jQuery背景可滑动的导航菜单代码，鼠标经过导航时导航背景可滑动，兼容主流浏览器 使用方法： 1、引入reset.css、index.css、jquery-1.7.2.min.js库文件，及jquery.movebg.js插件 2、在文件中加入<!-- 代码 开始 --><!-- 代码 结束 -->区域代码 3、移动的滑动可根据需要自由修改外观
Docker部署Nginx+Flask+Mongo应用实战
"本教程将指导你如何使用Docker部署一个基于Nginx、Flask和MongoDB的应用。Nginx作为反向代理服务器，Flask作为Python Web应用框架，MongoDB则作为数据存储。通过Docker的容器化技术，可以在Linux服务器上快速、高效...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值