- 博客(4)
- 收藏
- 关注
RSS订阅原创 从CDH集群中移除设备记录
从CDH集群中移除设备记录 因为公司其他业务需要，从利用率不算太高的老旧集群中分出一部分机器用于其他业务。 需要从旧CDH集群中删除指定的机器。 必须注意一点：hadoop默认副本数为3，所以一次最多移除两台机器， hadoop集群需要时间来同步集群中block块的确实副本（hadoop集群检测到副本数量不足后， 会自动从现有block块同步到其他存活的datanode） 如果副本还未同步完毕就又删除新的机器，可能会造成比较严重的数据缺失问题，难以修复 一定要注意！！！ 查看所有主机： 第一步：先确定哪
2021-02-04 15:50:40
464
原创 CM宕机修复记录
问题 CM主机宕机后重装了系统 导致CDH集群的cloudera-scm-server服务不可用 但是存储CDH集群信息的MySQL数据库不在重装系统的主机（重点） 因为解决问题时没记录过程，所以用三台虚拟机复刻了一下流程 解决流程： 重新配置重装了系统的CM主机环境 包括安装JDK 设置/etc/hosts 安装并设置ntpd服务 下载jdbc连接jar包到/usr/share/java中 下载CM的rpm安装包 cloudera-manager-agent-5.16.2-1.cm5162.p0.7.el
2021-01-26 15:29:58
277
原创 MySQL练习题
建表语句 导入数据库运行即可 /* Navicat MySQL Data Transfer Source Server : 11111111 Source Server Version : 50146 Source Host : localhost:3306 Source Database : sql练习 Target Server Type : MYSQL Target Server Version : 50146 File Encoding
2020-08-29 18:58:35
1440
原创 HDFS写流程
先上图： 现在客户端要上传一个200M的文件t1.txt到HDFS中： 1.客户端先创建和NameNode进行通信的对象DistributedFileSystem和获得能够与DataNode进行I/O操作的流对象FSDataOutputStream（FSDataOutputStream还封装了一个DFSoutPutstream对象来负责处理DataNode和NameNode之间的通信） 2.客户端请求NameNode上传文件 t1.txt（客户端向NameNode发送请求） 3.NameNode收到请求
2020-07-16 13:58:12
141
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人