大规模并行集群规范化部署

已于 2022-02-21 22:48:02 修改
阅读量606 收藏
点赞数 1
分类专栏： MPP集群 达梦入门篇 文章标签： 服务器 运维 数据库
于 2022-02-21 22:46:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32144799/article/details/123057898
版权

目录

1.服务器硬件需求

2.操作系统要求

2.1.操作系统版本安装

2.2.目录与存储规划

2.3.用户与组

2.4.用户资源限制

2.5.用户环境变量

2.6.防火墙设置

2.6.1.端口规划

2.6.2.关闭防火墙

4.安装数据库

4.1.使用root用户挂载数据库软件的iso文件

4.2.使用dmdba用户安装软件

5.初始化数据库

5.1.配置实例的配置文件 dm.ini

5.2.配置MAL系统配置文件dmmal.ini

5.3.配置 MPP 控制文件 dmmpp.ctl

6.启动集群

7.注册服务

8.验证集群

9.参数优化

11.重启集群

12.定制备份策略

13.客户端连接集群

1.服务器硬件需求

按实际业务需求，选择合适的服务器，准备 2 台服务器，服务器参数建议如下：

硬件

要求

物理内存

>=4GB

交换区

8192M

/tmp大小

> 1000 MB

网络

物理机器需要 4 个网卡，2 个 public 网卡做 band，2 个 private 网卡做 band

磁盘

根据实际应用系统需要挂载合适大小磁盘

时间服务器

按机房要求配置连接时间服务器

2.操作系统要求

2.1.操作系统版本安装

DM 数据库安装在 Linux 操作系统所需条件：glibc 2.3 以上，内核 2.6，预先安装 UnixODBC，系统性能监控等组件。

2.2.目录与存储规划

用途

目录路径

备注

数据库软件安装目录

/dm/dmdbms/dm8

可用空间>50 GB

实例安装目录

/dm/dmdata

单独挂载性能最好的磁盘建议 SSD

归档日志存放目录

/dm/dmarch

单独挂载磁盘

备份文件存放目录

/dm/dmback

单独挂载磁盘

2.3.用户与组

DM 数据库不应该使用 root 用户安装和维护。需要在安装之前为 DM 数据库创建一个专用的系统用户 (dmdba) 和用户组 (dinstall)。

执行以下命令，新建用户组 dinstall：

groupadd dinstall

执行以下命令，新建用户 dmdba：

useradd  -g dinstall -m -d /home/dmdba -s /bin/bash  dmdba

执行以下命令，修改 dmdba 用户密码。

passwd dmdba

输入密码并确认。

2.4.用户资源限制

执行以下命令，修改 dmdba 用户资源限制：

vim /etc/security/limits.conf

文件末尾添加如下内容：

dmdba soft core unlimited

dmdba hard core unlimited

dmdba soft nofile 65536

dmdba hard nofile 65536

dmdba soft nproc  65536

dmdba hard nproc  65536

dmdba soft stack  65536

dmdba hard stack  65536

2.5.用户环境变量

执行以下命令，修改 dmdba 用户环境变量：

 vi /home/dmdba/.bash_profile

文件末尾添加如下内容：

export DM_HOME=/dm/dmdbms/dm8

export PATH=$PATH:$DM_HOME/bin

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$DM_HOME/bin

2.6.防火墙设置

2.6.1.端口规划

搭建 2 节点大规模并行集群，端口规划如下：（实际中可以按需要修改端口号）

主机名

public ip

private ip

实例名

端口

用途

dmdsc1

192.168.25.94

10.10.10.94

dmmpp1

5236

数据库实例 dmmpp1 监听端口

dmdsc1

192.168.25.94

10.10.10.94

dmmpp1

7236

MAL 系统监听 TCP 连接的端口

dmdsc2

192.168.25.95

10.10.10.95

dmmpp2

5236

数据库实例 dmmpp2 监听端口

dmdsc2

192.168.25.95

10.10.10.95

dmmpp2

7236

MAL 系统监听 TCP 连接的端口

防火墙集群之间需开放以上所有端口， 集群对客户端只需要开通数据库实例监听端口。

2.6.2.关闭防火墙

设置系统安全策略

SELinux

echo "SELINUX=disabled" > /etc/selinux/config

echo "SELINUXTYPE=targeted" >> /etc/selinux/config

cat /etc/selinux/config

setenforce 0

关闭防火墙

systemctl status firewalld.service

systemctl stop firewalld.service

systemctl disable firewalld.service

4.安装数据库

4.1.使用root用户挂载数据库软件的iso文件

mount -t cifs -o username="administrator",password="best_7890",gid="66000",uid="66000" //192.168.27.253/H /mnt

mkdir -p /dmiso

mount -oloop dm8_20211112_x86_rh6_64_ent_8.1.2.94.iso /dmiso

4.2.使用dmdba用户安装软件

 su - dmdba

执行以下命令，切换到 /dmiso 目录下

cd /dmiso

执行 DMInstall.bin 文件开始安装，选择【-i】参数以命令行方式安装。

 ./DMInstall.bin -i

选择安装程序的语言 c/C 为中文，e/E 为英文。

提示是否安装 key 文件，输入 N 跳过。

选择时区，21 即东 8 区。

选择安装类型，默认典型安装（包含所有内容）。

选择软件安装目录，:  /dm/dmdbms/dm8

确认安装

安装完成提示使用root执行脚本：

/dm/dmdbms/dm8/script/root/root_installer.sh

[root@dm94 ~]# /dm/dmdbms/dm8/script/root/root_installer.sh

移动 /dm/dmdbms/dm8/bin/dm_svc.conf 到/etc目录

修改服务器权限

创建DmAPService服务

Created symlink from /etc/systemd/system/multi-user.target.wants/DmAPService.service to /usr/lib/systemd/system/DmAPService.service.

创建服务(DmAPService)完成

启动DmAPService服务

[root@dm94 ~]#

5.初始化数据库

软件安装目录为  /dm/dmdbms/dm8 ，实例初始化目录  /dm/dmdata/dmmpp ，初始化脚本如下：

./dminit path=/dm/dmdata page_size=32  extent_size=32  case_sensitive=1 LENGTH_IN_CHAR=0 charset=0 log_size=2048 db_name=dmmpp instance_name=dmmpp SYSDBA_PWD="dameng123" SYSAUDITOR_PWD="dameng123"

5.1.配置实例的配置文件 dm.ini

修改实例的  dm.ini  文件参数，执行以下命令：

vi /dm/dmdata/dmmpp/dm.ini

dmmpp1 实例修改以下参数值：

INSTANCE_NAME = dmmpp1

MAL_INI = 1

MPP_INI = 1

dmmpp2 实例修改以下参数值：

INSTANCE_NAME = dmmpp2

MAL_INI = 1

MPP_INI = 1

5.2.配置MAL系统配置文件dmmal.ini

执行以下命令，在实例目录下新建文件 dmmal.ini ：

vi /dm/dmdata/dmmpp/dmmal.ini

所有节点文件内容要相同

MAL_CHECK_INTERVAL   = 5          #MAL 链路检测时间间隔

MAL_CONN_FAIL_INTERVAL  = 5       #判定 MAL 链路断开的时间

[MAL_INST1]

  MAL_INST_NAME = dmmpp1          #与 dm.ini 中的 INSTANCE_NAME 一致

  MAL_HOST     = 10.10.10.94      #MAL 系统监听 TCP 内部网络 IP

  MAL_PORT     = 7236             #MAL 系统监听 TCP 连接的端口

  MAL_INST_HOST   = 192.168.25.94 #实例的对外服务 IP 地址

  MAL_INST_PORT   = 5236          #与 dm.ini 中的 PORT_NUM 一致

[MAL_INST2]

  MAL_INST_NAME = dmmpp2          #与 dm.ini 中的 INSTANCE_NAME 一致

  MAL_HOST      = 10.10.10.95     # MAL 系统监听 TCP 内部网络 IP

  MAL_PORT          = 7236        #MAL 系统监听 TCP 连接的端口

  MAL_INST_HOST         = 192.168.25.95   #实例的对外服务 IP 地址

  MAL_INST_PORT         = 5236            #与 dm.ini 中的 PORT_NUM 一致

5.3.配置 MPP 控制文件 dmmpp.ctl

在其中一个节点新建 dmmpp.ini 配置文件，执行以下命令：

vi /dm/dmdata/dmmpp/dmmpp.ini

添加以下内容：

[SERVICE_NAME1]

 MPP_SEQ_NO = 0

 MPP_INST_NAME = dmmpp1

[SERVICE_NAME2]

 MPP_SEQ_NO = 1

 MPP_INST_NAME = dmmpp2

使用 dmctlcvt 工具将  dmmpp.ini文件转化为  dmmpp.ctl，在数据库安装的 bin 目录下执行以下命令：

./dmctlcvt TYPE=2 SRC=/dm/dmdata/dmmpp/dmmpp.ini DEST=/dm/dmdata/dmmpp/dmmpp.ctl

将生成的  dmmpp.ctl  控制文件复制到另一个节点的实例目录下。

[dmdba@dm94 dmmpp]$ scp dmmpp.ctl 192.168.25.95:/dm/dmdata/dmmpp/

dmdba@192.168.25.95's password:

dmmpp.ctl                                                                                                                              100%   41KB  11.6MB/s   00:00

[dmdba@dm94 dmmpp]$

6.启动集群

正常启动实例即可，在数据库安装的 bin 目录下执行以下命令：

./dmserver /dm/dmdata/dmmpp/dm.ini

[dmdba@dm94 dmmpp]$ dmserver /dm/dmdata/dmmpp/dm.ini

file dm.key not found, use default license!

version info: develop

DM Database Server x64 V8 1-2-94-21.11.11-150650-10038-ENT  startup...

Normal of FAST

Normal of DEFAULT

Normal of RECYCLE

Normal of KEEP

Normal of ROLL

Database mode = 0, oguid = 0

License will expire on 2022-11-11

file lsn: 0

ndct db load finished

ndct second level fill fast pool finished

ndct third level fill fast pool finished

ndct fill fast pool finished

iid page's trxid[1002]

NEXT TRX ID = 1003

pseg_collect_mgr_items, total collect 0 active_trxs, 0 cmt_trxs, 0 pre_cmt_trxs, 0 active_pages, 0 cmt_pages, 0 pre_cmt_pages, 0 mgr pages, 0 mgr recs!

iid page's trxid[2004]

NEXT TRX ID = 3006.

total 0 active crash trx, pseg_crash_trx_rollback sys_only(0) begin ...

pseg_crash_trx_rollback end, total 0 active crash trx, include 0 empty_trxs, 0 empty_pages which only need to delete mgr recs.

pseg_crash_trx_rollback end

pseg recv finished

nsvr_startup end.

aud sys init success.

aud rt sys init success.

trx: 3006 purged 1 pages

trx: 3025 purged 1 pages

trx: 3026 purged 1 pages

trx: 3027 purged 1 pages

trx: 3028 purged 1 pages

trx: 3029 purged 1 pages

trx: 3039 purged 1 pages

trx: 3159 purged 1 pages

trx: 3172 purged 1 pages

trx: 3173 purged 1 pages

trx: 3174 purged 1 pages

trx: 3175 purged 1 pages

trx: 3176 purged 1 pages

trx: 3178 purged 1 pages

trx: 3179 purged 1 pages

trx: 3181 purged 1 pages

trx: 3183 purged 1 pages

trx: 3189 purged 1 pages

trx: 3195 purged 1 pages

trx: 3205 purged 1 pages

trx: 3218 purged 1 pages

trx: 3219 purged 1 pages

trx: 3220 purged 1 pages

trx: 3221 purged 1 pages

trx: 3233 purged 1 pages

trx: 3235 purged 1 pages

trx: 3236 purged 1 pages

trx: 3237 purged 1 pages

trx: 3282 purged 6 pages

trx: 3309 purged 1 pages

trx: 3310 purged 1 pages

trx: 3311 purged 1 pages

trx: 3312 purged 1 pages

trx: 3318 purged 1 pages

trx: 3320 purged 1 pages

trx: 3322 purged 1 pages

trx: 3327 purged 1 pages

trx: 3332 purged 1 pages

trx: 3337 purged 1 pages

trx: 3339 purged 1 pages

trx: 3342 purged 1 pages

trx: 3344 purged 1 pages

trx: 3350 purged 1 pages

trx: 3351 purged 1 pages

trx: 3500 purged 1 pages

trx: 3512 purged 1 pages

trx: 3517 purged 1 pages

trx: 3522 purged 1 pages

trx: 3541 purged 8 pages

trx: 3566 purged 1 pages

systables desc init success.

ndct_db_load_info success.

nsvr_process_before_open begin.

nsvr_process_before_open success.

total 0 active crash trx, pseg_crash_trx_rollback sys_only(0) begin ...

pseg_crash_trx_rollback end, total 0 active crash trx, include 0 empty_trxs, 0 empty_pages which only need to delete mgr recs.

pseg_crash_trx_rollback end

SYSTEM IS READY.

注意

需要所有节点都启动后，集群才能访问。

7.注册服务

root 用户下切换到 /dm/dmdbms/dm8/script/root/，执行以下命令：

cd /dm/dmdbms/dm8/script/root/

脚本注册服务，执行以下命令：

./dm_service_installer.sh -t dmserver -p dmmpp -dm_ini /dm/dmdata/dmmpp/dm.ini

以服务方式启动实例，执行以下命令：

systemctl start DmServicedmmpp

8.验证集群

客户端登录任意节点。

[dmdba@dm94 ~]$ disql sysdba/dameng123

服务器[LOCALHOST:5236]:处于普通打开状态

登录使用时间 : 5.443(ms)

disql V8

SQL> select instance_name from v$instance;

行号     INSTANCE_NAME

---------- -------------

1          DMMPP1

2          DMMPP2

已用时间: 8.847(毫秒). 执行号:194732.

SQL>

查询可以看到所有节点实例信息。

9.参数优化

集群部署完成后，需要优化 dm.ini 参数，主备库都需要修改，参数值优化详见参数优化部分。

参考链接：单机规范化部署 | 达梦技术文档 (dameng.com)

11.重启集群

所有节点重启实例，执行以下命令：

systemctl restart DmServicedmmpp

12.定制备份策略

上线前必须规划好备份策略，可以使用 DM 作业系统，定时备份。

根据应用需求，定制备份策略如下所示：

备份类型

备份周期

备份时间

全量备份

每周

每周五 23 点

增量备份

每天

除周五外每天 23 点

删除备份

每天

每天 23 点 30

备份参考地址：单机规范化部署 | 达梦技术文档 (dameng.com)

13.客户端连接集群

客户端主机上需要配置 dm_svc.conf 文件（未安装 DM 数据库的机器新建即可），文件路径：

32 位的 DM 安装在 Win32 操作平台下，此文件位于 %SystemRoot%\system32 目录；

64 位的 DM 安装在 Win64 操作平台下，此文件位于 %SystemRoot%\system32 目录；

32 位的 DM 安装在 Win64 操作平台下，此文件位于 %SystemRoot%\SysWOW64 目录；

在 Linux 平台下，此文件位于/etc 目录。

文件内容：

# 以#开头的行表示是注释

# 全局配置区

DMMPP=(192.168.25.94:5236,192.168.25.95:5236)

TIME_ZONE=(+480) #表示+8:00时区

LOGIN_ENCRYPT=(0)

DIRECT=(Y)

# 服务配置区

[DMMPP]

TIME_ZONE=(+540) #表示+9:00时区

#LOGIN_MODE=(2)

SWITCH_TIME=(3) #在服务器之间切换的次数

SWITCH_INTERVAL=(10) #在服务器之间切换的时间间隔，单位为毫秒

客户端程序连接数据库时，需要指定 IP 端口处替换为 服务名 即可，例如： disql SYSDBA/dameng123@DMMPP 

[dmdba@dm94 bin]$ ./disql SYSDBA/dameng123@DMMPP

服务器[192.168.25.95:5236]:处于普通打开状态

登录使用时间 : 3.660(ms)

disql V8

SQL>

注意

当修改了 dm_svc.conf 内容后，需要重启客户端程序，修改的配置才能生效。

24小时免费服务热线：400 991 6599
达梦技术社区：https://eco.dameng.com

太行山有西瓜汁
关注
专栏目录
【云原生】docker 部署 Doris 数据库使用详解
congge
09-08 1万+
docker 部署 Doris 数据库使用详解
大规模语言模型从理论到实践 代码结构
最新发布
AI天才研究院
07-04 781
随着互联网和数字化时代的发展，海量文本数据的涌现为自然语言处理（NLP）技术提供了前所未有的机遇与挑战。大规模语言模型（Large Language Model, LLC）因其强大的语义理解、生成及变换能力，成为了自然语言处理领域的一股重要力量，被广泛应用于问答系统、文本生成、代码生成、对话机器人等多个场景。这一技术的突破，不仅提升了人机交互体验，也为各行各业带来了智能化升级的可能性。大规模语言模型的训练通常采用自监督学习方式，通过最小化模型预测下一个词的概率与真实词之间的差距来优化模型参数。
大规模集群自动化部署工具--Chef的安装部署
走在前往架构师的路上
07-18 6239
Chef脚本管理工具部署部署节点 节点类型 IP(虚拟假设的IP) Server 192.168.10.191 Workstation 192.168.10.36 Node 192.168.10.35 安装的版本 Chef-Server：chef-server-11.1.0-1.el6.x86_64.rpm Chef-Client：chef-11.10.0-1.el6.
DM8MPP大规模并行集群部署
demoMAN01的博客
09-30 341
一、前言 达梦大规模并行处理集群MPP是由一系列完全对等无共享式集群组件构成，支持多个DM数据库实例组织成一个并行网络，从而对外提供统一的数据库服务。 二、MPP集群原理 三、MPP集群搭建部署 3.1准备工作 服务器硬件需求 按实际业务需求，选择合适的服务器，准备 2 台服务器，服务器参数建议如下： 硬件 要求 物理内存 >=16 GB 交换区 Swa...
大规模服务设计部署经验谈
卓一思(Joise.LI)的专栏
06-26 7010
大规模服务设计部署经验谈本文中提出的最佳实践，来自于作者多年大规模服务设计和部署的经验，为设计、开发对运营友好的服务提供了一系列良好的解决方案。■ 文／James Hamilton 译／赖翥翔1               引言本文就设计和开发运营友好的服务的话题进行总结，得出一系列最佳实践。设计和部署大规模服务是一个高速发展的领域，因而随着时间的流逝，任何最佳实践集合都可能成熟并
DM7.0-大规模并行集群数据库管理系统
cuguw64426的博客
05-23 300
一、必要性 现代社会需要处理的信息量越来越大，传统数据库管理系统已经很难快速响应大量交易数据的分析查询。互联网的发展，推动了廉价的刀片式服务器集群硬件的发展。业务的特性决定了这些集群计算能力可以比较容易地应用到WEB服务...
MPP(大规模并行处理)
weixin_33824363的博客
11-26 1670
1、 什么是MPP？ MPP (Massively Parallel Processing)，即大规模并行处理，在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提供数据库服务。非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势。 ...
大规模语言模型从理论到实践 大语言模型的构建流程
AI天才研究院
07-04 1039
随着互联网的普及和数据量的爆炸式增长，人们对于自动处理和生成文本的需求日益增加。大规模语言模型应运而生，旨在通过学习海量文本数据，掌握丰富的语言结构和上下文关联，从而实现高质量的文本生成和理解任务。这一领域的发展不仅推动了自然语言处理（NLP）技术的进步，还对智能客服、自动写作、对话系统等多个领域产生了深远影响。大规模语言模型采用深度学习框架，特别是Transformer架构，通过多层自注意力机制捕捉文本序列间的依赖关系。
基于hadoop+spark的大规模日志的一种处理方案
一个致力于开源代码学习、分析和交流的博客
02-04 1377
CDN服务平台上有为客户提供访问日志下载的功能，主要是为了满足在给CDN客户提供服务的过程中，要对所有的记录访问日志，按照客户定制的格式化需求以小时为粒度（或者其他任意时间粒度）进行排序、压缩、打包，供客户进行下载，以便进行后续的核对和分析的诉求。而且CDN上的访问日志一般都非常大，需要用大数据处理架构来进行处理，本文描述了一种利用hadoop+spark来处理大量CDN日志的方法，当然本方案不局限于CDN日志处理，完全可以应用到其他日志处理的应用需求上面。
大规模集群下的自动化部署平台 pdf
03-06
大规模集群下的自动化部署平台,大规模服务器运维， 自动化，从重复性的工作中解放出来； 自动化重点解决的问题；自动化部署信息的交互；部署实践之日志跟踪... ...
并行集群系统概述
04-21
并行集群系统概述
lammps并行部署
yuhldr
12-26 395
lammps源码编译有利于使用最新版，而且可以根据自己的需要选择功能，提高计算速度，输出视频等 github.io Linux系统源码编译安装LAMMPShttps://yuhldr.github.io/posts/320.html 0 gitee.io Linux系统源码编译安装LAMMPShttps://yuhldr.gitee.io/posts/320.html 0 ...
linux集群的部署(标准,进来和我一起努力吧)
youyigebug的博客
10-21 324
linux集群的部署 1.在虚拟机中实例三个虚拟机主机,三个虚拟主机需要配置ip, 且两两之间可以ping通. 2.关闭防火墙(需要在所有主机中进行设置) /etc/init.d/iptables stop chkconfig iptables off 3.关闭selinux(需要在所有主机中进行设置) 编辑文件 vi /etc/selinux/config 将SELINUX-...
并行计算与集群技术
weixin_51491725的博客
12-26 3047
第5章 并行计算与集群技术 并行计算（Parallel Computing) 也叫高性能计算（High Performance Computing) 、高端计算（High-end Parallel Computing) 或超级计算（Super Computing) .它的快速发展为其他技术、的发展提供了重要的支撑。云计算关注的两个要点是计算力和存储力，而计算力依赖的技术就 是并行计算，因此学习云计算需要了解并行计算的概念和分类。集群技术是并行计算的基础，也是云计算的基础，所以需要了解集群技术。本章就将介绍并
4，串行与并行交织 ： 第一批集群并行，第二批集群并行，集群间串行
孙砚秋的博客
12-25 365
1 ，目的 ： 先开两个集群 ( a , b ) 分别输出 ： a1,a2,b1,b2 等 a,b 集群关闭 再开两个集群 ( c，d ) 分别输出 ： c1,c2,d1,d2 2 ，技术核心 ： 监控集群状态 核心对象 ： DescribeClusterResult 作用 ： 集群状态描述类 3 ，程序结构 ： 4 ，代码 ： package lifeCycle02_Cluster; ...
大规模服务设计部署经验谈(6) | 运营和功能计划
钟鼎博客
11-07 233
6               运营和功能计划 要高效地运营服务，关键在于让构建的系统有效地消除运营团队的绝大部分管理交互。这样做的目标，是让一个高度可靠的24 x 7 小时运行的服务，由一个8 x 5小时工作的运营团队就足以维护起来。 不过世事难料，一组或者多组系统救火不成，无法恢复上线的事情是时有发生的。在熟知这些可能性的情况下，实现把损坏的系统标为当机这个过程的自动化。依赖运营团队手动更...
DM8 达梦数据库大规模并行处理MPP集群问题整理
meminic的博客
09-24 469
大规模并行处理集群简称为MPP集群。 MPP集群是完全对等不共享的集群。每个集群的各个节点完全对等。对整个系统来说，每个 节点的作用都是一样的，用户可以连接到其中的任何一个节点进行操作。而对每个用户会话来说，节点具有主从之分。用户会话实际连接的那个节点对该用户会话来说就是用户的主节点，其余的 节点都叫做从节点。 与其他集群相同，MPP集群主要的相互访问也是通过MAL系统来交互。也同样需要dmwatcher守护进程和dmmonitor进程来进行监控。 在集...
BeeGFS分布式并行集群部署
afei001
04-26 2148
BeeGFS概述     BeeGFS(前身是 FhGFS)是一个高性能的并行文件系统，使用分布式元数据架构，具备可伸缩和灵活性来满足业务的需求。常用于高性能计算中的分布式文件存储，BeeGFS是免费的，提供专业的商业服务支持。     BeeGFS透明地将用户数据分布在多个服务器上。通过增加系统中的服务器和磁盘的数量，可以简单地将文件系统的性能和容量扩展到所需的级别，从小型集群无缝地扩展到具有...
腾讯TDW：大规模Hadoop集群优化与实践
1. JobTracker分散化：传统的Hadoop架构中，JobTracker负责协调和管理MapReduce作业，但在大规模集群中，单点故障和性能瓶颈问题突出。通过分散JobTracker，TDW将作业调度的负载分散到多个节点上，提高了系统的可靠...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

太行山有西瓜汁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值