自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 收藏
  • 关注

原创 Davinci数据可视化工具的安装部署

本文详细介绍了Davinci数据可视化工具的安装配置流程。首先通过XFTP上传安装包到主节点,依次安装Phantomjs和Davinci,并配置环境变量。接着创建MySQL数据库并设置权限,修改Davinci初始化脚本和配置文件application.yml,特别注意yml文件的格式要求。配置包含服务端参数、数据库连接、邮件服务(需获取SMTP授权码)和截图功能等。测试阶段启动服务端后,通过浏览器访问8080端口,首次使用需邮箱注册并激活账号。整个过程涵盖了从软件安装到系统初始化的完整步骤,重点强调了配置文

2025-12-29 00:01:56 402

原创 分布式系统核心详解

ZooKeeper是分布式协调服务,支持Master选举、分布式锁等功能。Hadoop集群包含NameNode、DataNode等核心组件,通过主备机制实现高可用。Flume由Source、Channel、Sink三部分组成,实现数据采集传输。YARN提供FIFO、容量、公平三种调度器。ZooKeeper节点分持久和临时两种类型,支持顺序编号。Hadoop和HBase通过主备切换、数据副本等机制保障高可用。SecondaryNameNode定期合并元数据文件以减轻NameNode负担。

2025-12-29 00:00:58 455

原创 hadoop伪分布式集群的搭建

hdfs-site.xml:HDFS相关进程的配置项,包括 NameNode、SecondaryNameNode、DataNode等。--配置NodeManager执行MapReduce任务的方式为Shuffle混洗-->--配置hdfs NameNode的地址,9000是RPC通信的端口-->--配置namenode节点存储fsimage的目录位置-->--配置datanode 节点存储block的目录位置-->--指定运行mapreduce的环境为YARN-->

2025-12-28 22:08:27 508

原创 如何在阿里云ECS服务器部署MongoDB副本集

本文介绍了在阿里云ECS服务器上部署MongoDB副本集的完整流程。主要内容包括:1)环境准备与服务器配置,包括创建ECS实例、系统初始化;2)MongoDB安装与副本集配置,详细说明配置文件修改和副本集初始化步骤;3)安全加固措施,如创建管理员用户和启用认证;4)备份恢复方案和故障排查方法。文章提供了从服务器创建到副本集部署的全流程指导,包含具体命令和配置示例,适合在阿里云平台搭建高可用MongoDB服务的用户参考。

2025-12-28 13:00:59 843 1

原创 MongoDB分片实战:集群部署全攻略

本文详细介绍了基于Docker的MongoDB分片集群搭建与SpringBoot应用开发的全过程。主要内容包括:1)分片集群架构设计,包含Config Server、Shard Server和Mongos路由;2)Docker环境配置与容器部署;3)分片策略实现,基于电影评分字段建立分片键;4)SpringBoot应用开发,提供完整的CRUD接口和统计分析功能;5)数据迁移方案,支持复杂JSON数据的批量导入;6)阿里云ECS部署与测试方案。项目实现了高性能的电影数据管理,支持软删除、跨分片查询和负载均衡等

2025-12-27 16:33:46 1115

Hadoop和jdk的安装包

Hadoop和jdk的安装包

2025-12-28

数据库基于MongoDB分片架构的电影数据管理系统设计与实现:分片策略、Spring Boot应用集成及阿里云部署方案

内容概要:本文详细介绍了基于Docker部署MongoDB分片集群的完整流程,涵盖架构设计、环境准备、分片与配置服务器搭建、Mongos路由启动、分片策略配置及Spring Boot应用集成。通过构建包含Config Server、Shard副本集和Mongos路由的服务体系,实现了数据的水平扩展与高效查询。同时,文档提供了Spring Boot项目开发中的实体建模、仓库接口、服务逻辑与REST控制器实现,并支持软删除、分页、聚合统计等功能,结合mongoimport工具完成大规模JSON数据导入,最终在阿里云ECS上进行外网发布与测试。; 适合人群:具备一定Docker、MongoDB和Spring Boot开发经验的中高级后端研发人员,尤其是从事高并发、大数据量系统设计与运维的技术人员。; 使用场景及目标:①掌握MongoDB分片集群的搭建与管理;②实现基于分片键(如评分)的数据分布优化;③开发支持分片环境的Spring Boot应用;④完成生产级数据迁移、导入与外网服务部署; 阅读建议:建议按照文档顺序逐步操作,重点关注分片键选择、索引优化、数据导入脚本与Spring Boot配置适配,结合实际业务调整分片策略,并利用提供的监控与修复脚本保障集群稳定性。

2025-12-27

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除