fish的饭票-CSDN博客

原创从零搭建生产Hadoop集群（九）——Cloudera Manager Server备份与迁移

从零搭建生产Hadoop集群（九）——Cloudera Manager Server备份与迁移一、概述二、CM Server迁移流程1. 旧CM Server的配置定时备份2. 备份CM Serer安装CM Agent进程3.备份CM Serer安装CM Server、db进程4.备份数据导入备份CM Server的配置PG库5.集群所有主机的CM Agent修改Server指向并重启6.迁移监控...

2018-12-01 12:45:37 960

原创从零搭建生产Hadoop集群（八）——上线与下线数据节点流程

从零搭建生产Hadoop集群（八）——上线与下线数据节点流程一、概述二、节点上线流程1. 服务器初始化2. 添加新主机到CM管理系统中3.添加角色实例三、节点下线流程一、概述Hadoop集群中，经常需要在不重启集群的前提下，动态地上线与下线数据节点，而使用Cloudera Manager管理的集群，可以很方便地做到这一点，本文将介绍其相关流程。二、节点上线流程1. 服务器初始化新节点的硬...

2018-11-12 20:42:39 1030

原创从零搭建生产Hadoop集群（七）——关键服务器双网卡配置

从零搭建生产Hadoop集群（七）——关键服务器双网卡配置一、概述二、操作步骤1.启用双网卡配置（1）关闭NetworkManager（2）配置网卡信息（3）修改modprobe相关设定文件（4）加载模块并重启网络（5）重启网络，确认是否生效2.停用双网卡配置一、概述Hadoop集群中，有许多服务器部署着关键实例，如NameNode、ResourceManager、Zookeeper等，这些服...

2018-11-02 19:59:05 1360 2

原创从零搭建生产Hadoop集群（六）——MySQL主备同步与故障切换

从零搭建生产Hadoop集群（六）——MySQL主备同步与故障切换一、概述二、主备同步配置步骤1.关闭相关服务2.主备库配置同步账号3.导出主库全部数据4.导入备库完整数据5.更新主从mysql配置文件/etc/my.cn并重启主备mysql进程6.主库重启后重新加锁7.查看主库状态8.配置主从同步9.解锁主库写操作10. 验证同步是否成功11.启动各个服务进程三、故障切换步骤1.关闭主库进程模拟...

2018-10-27 00:39:38 777

原创从零搭建生产Hadoop集群（五）——CDH集群修改主机名与IP

从零搭建生产Hadoop集群（五）——CDH集群修改主机名与IP一、概述二、完整步骤1.官网推荐步骤：（1）验证下SSL/TLS认证是否所有服务都有配备，确认创建新的SSL/TLS认证。（2）导出Cloudera Manager配置（3）关闭集群所有服务（4）关闭Cloudera Managerment服务（5）关闭Cloudera Manager Server（6）关闭需要改hostname的服...

2018-10-26 23:51:04 2681

原创从零搭建生产Hadoop集群（四）——Cloudera Manager及CDH的卸载

从零搭建生产Hadoop集群（四）——Cloudera Manager及CDH的卸载一、概述二、卸载方法1.安装过程中出现异常重装1）删除相关文件和目录2）重新运行installer2.完全卸载集群1）停止集群所有服务2）停用和删除parcels3）卸载Cloudera Manager Server（1）停止Cloudera Manager Server和它的数据库（2）卸载Cloudera Ma...

2018-10-20 22:54:20 1117

原创从零搭建生产Hadoop集群（三）——CDH集群搭建

从零搭建Hadoop集群（三）——CDH集群搭建一、概述二、硬件检查与系统配置1.硬件检查1）检查内存2）检查所有磁盘挂载。将noatime参数写入/etc/fstab，并remount所有数据盘。3）检查磁盘读写4）检测网卡设置5）检测路由6）检查系统版本2.系统配置1）配置hostname与/etc/hosts（所有节点）设置hostname设置/etc/hosts2）所有节点安装SSH（所有...

2018-10-20 22:25:11 8284

原创从零搭建生产Hadoop集群（二）——规划与环境准备

从零搭建Hadoop集群（二）——环境准备概述机架管理节点分布数据节点分布网络带宽路由网卡交换机高可用磁盘初始化挂载系统版本要求关闭THP配置NTP配置ulimit关闭Iptables设置vm.swappiness内核参数概述Hadoop集群的部署搭建，不是安装完成，启动进程，可以运行任务就算完事了。如果前期的网络架构、硬件、系统等没有规划和配置得当，很容易造成系统的不稳定，也必定增加后期的维...

2018-10-14 15:27:59 1755

原创从零搭建生产Hadoop集群（一）——离线安装YUM源搭建

从零搭建可用的Hadoop集群之一离线安装parcels源搭建离线安装parcels源搭建官方提供了三种安装方式：1）第一种方法必须要求所有机器都能连网，由于最近各种国外的网站容易出现超时连接错误，耗时较长，而且一旦失败，重装也是非常麻烦。2）第二种方法下载很多包。3）第三种方法对系统侵入性最小，最大优点可实现全离线安装，而且重装都十分方便。后期的集群统一包升级也非常好。这也是比较推荐的...

2018-10-14 14:20:16 4285 1

lxbalex的博客