CrateDB高可用测试 kill一个datanode节点

最新推荐文章于 2023-01-10 11:09:23 发布
最新推荐文章于 2023-01-10 11:09:23 发布
阅读量1.4k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aaronhadoop/article/details/60326435
版权

第1步，节点正常存活
[mf@cratedb-test-01 /data/mf/crate]$ curl http://10.209.15.212:8080/_cat/shards/.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 4 p STARTED 326253 44.8mb 10.10.10.4  cratedb-test-04 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 4 r STARTED 326253 44.8mb 10.10.10.3  cratedb-test-03 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 3 r STARTED 327110 45.4mb 10.10.10.4  cratedb-test-04 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 3 p STARTED 327110 45.4mb 10.10.10.2    cratedb-test-02 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 1 r STARTED 326896 44.8mb 10.10.10.1 cratedb-test-01 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 1 p STARTED 326896 44.8mb 10.10.10.2    cratedb-test-02 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 2 p STARTED 326391 45.3mb 10.10.10.3  cratedb-test-03 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 2 r STARTED 326391 45.3mb 10.10.10.1 cratedb-test-01 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 5 r STARTED 326682   45mb 10.10.10.4  cratedb-test-04 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 5 p STARTED 326682   45mb 10.10.10.3  cratedb-test-03 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 0 p STARTED 326668 45.1mb 10.10.10.1 cratedb-test-01 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 0 r STARTED 326668 45.1mb 10.10.10.2    cratedb-test-02 


第2步：kill掉cratedb-test-02(10.10.10.2)
[mf@cratedb-test-02 /root]$ curl http://10.209.15.212:8080/_cat/shards/.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 4 p STARTED    326253 44.8mb 10.10.10.4  cratedb-test-04 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 4 r STARTED    326253 44.8mb 10.10.10.3  cratedb-test-03 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 3 p STARTED    327110 45.4mb 10.10.10.4  cratedb-test-04 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 3 r UNASSIGNED                                             
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 1 p STARTED    326896 44.8mb 10.10.10.1 cratedb-test-01 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 1 r UNASSIGNED                                             
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 2 p STARTED    326391 45.3mb 10.10.10.3  cratedb-test-03 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 2 r STARTED    326391 45.3mb 10.10.10.1 cratedb-test-01 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 5 r STARTED    326682   45mb 10.10.10.4  cratedb-test-04 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 5 p STARTED    326682   45mb 10.10.10.3  cratedb-test-03 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 0 p STARTED    326668 45.1mb 10.10.10.1 cratedb-test-01 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 0 r UNASSIGNED 


327110 主分片所在节点cratedb-test-02(10.10.10.2)宕机后， 327110 副分片立即变成主分片。 经过10秒钟左右，327110 副分片在cratedb-test-01上分配、生成，分片情况如下：
[mf@cratedb-test-02 /root]$ curl http://10.209.15.212:8080/_cat/shards/.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 4 p STARTED 326253 44.8mb 10.10.10.4  cratedb-test-04 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 4 r STARTED 326253 44.8mb 10.10.10.3  cratedb-test-03 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 3 p STARTED 327110 45.4mb 10.10.10.4  cratedb-test-04 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 3 r STARTED 327110 45.4mb 10.10.10.1 cratedb-test-01 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 1 r STARTED 326896 44.8mb 10.10.10.4  cratedb-test-04 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 1 p STARTED 326896 44.8mb 10.10.10.1 cratedb-test-01 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 2 p STARTED 326391 45.3mb 10.10.10.3  cratedb-test-03 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 2 r STARTED 326391 45.3mb 10.10.10.1 cratedb-test-01 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 5 r STARTED 326682   45mb 10.10.10.4  cratedb-test-04 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 5 p STARTED 326682   45mb 10.10.10.3  cratedb-test-03 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 0 r STARTED 326668 45.1mb 10.10.10.3  cratedb-test-03 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 0 p STARTED 326668 45.1mb 10.10.10.1 cratedb-test-01


第3步，启动cratedb-test-02
[mf@cratedb-test-02 /root]$ curl http://10.209.15.212:8080/_cat/shards/.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 4 p STARTED 326253 44.8mb 10.10.10.4  cratedb-test-04 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 4 r STARTED 326253 44.8mb 10.10.10.3  cratedb-test-03 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 3 p STARTED 327110 45.4mb 10.10.10.4  cratedb-test-04 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 3 r STARTED 327110 45.4mb 10.10.10.1 cratedb-test-01 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 1 r STARTED 326896 44.8mb 10.10.10.2    cratedb-test-02 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 1 p STARTED 326896 44.8mb 10.10.10.1 cratedb-test-01 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 2 p STARTED 326391 45.3mb 10.10.10.2    cratedb-test-02 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 2 r STARTED 326391 45.3mb 10.10.10.1 cratedb-test-01 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 5 r STARTED 326682   45mb 10.10.10.4  cratedb-test-04 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 5 p STARTED 326682   45mb 10.10.10.3  cratedb-test-03 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 0 p STARTED 326668 45.1mb 10.10.10.2    cratedb-test-02 
.partitioned.test_cratedb_node_fail_1.045j4c1h6omj2chd64sg 0 r STARTED 326668 45.1mb 10.10.10.3  cratedb-test-03 
启动cratedb-test-02，经过30秒后，节点cratedb-test-02上有了分片。分片327110的主副分片仍分别在cratedb-test-04、cratedb-test-01上(可能会有分片转移)。

重新启动的节点上，上面只有副分片。


对读写的影响？

---- kill一个节点，对读写无影响。



余建新-18588497759
关注
专栏目录
HDP 删除DataNode节点
80后大叔爱学习
03-03 872
删除节点
hadoop只显示一个DataNode
zsmxiaoci的博客
10-06 1482
hadoop报错解决
hdfs datanode_如何手动杀死HDFS DataNode？
cuma2369的博客
07-26 552
hdfs datanodestop-dfs.sh report that there are no datanodes running on some nodes like stop-dfs.sh报告在某些节点（例如， hdfs-node-000208: no datanode to stopHowever, there are DataNode process running there. H...
CrateDB高可用测试 kill client
03-06 1118
大数据（2i）Hadoop集群高可用
ArYe
01-11 845
High Availability NameNode高可用 YARN高可用 ZooKeeper配置Hadoop集群高可用 QJM：Quorum Journal Manager ZooKeeperFailoverControler：自动故障转移 QJM集群+ZooKeeper配置NameNode高可用 ResourceManager高可用 Hadoop高可用
CrateDB记录
03-03 2060
记录1：
HDFS学习笔记（三）——DataNode
qq_36139822的博客
12-24 977
本文介绍了DataNode的工作流程，辅助理解HDFS的工作原理。
启动Hadoop，没有DataNode节点
qq_45736175的博客
06-28 5738
1.其他节点，如namenode都成功启动了，就是DataNode没有启动 原因是NameNode和DataNode的ID不一致导致的，因为我有一个坏习惯，就是每次关闭虚拟机时，都没有使用./sbin/stop-all.sh关闭Hadoop，而是直接关闭虚拟机了。 2.解决方法，找到name/current/目录下的VERSION文件，复制其clusterID 然后粘贴到data/current/VERSION文件中的clusterID 另一种知道NameNode的cluster..
关于我第二次遇到Hadoop启动集群子节点没有DataNode节点问题
m0_58676712的博客
07-21 3121
找一下HDFS的配置文件,我的在$HADOOP_HOME/etc/hadoop文件夹下，查看你的dfs.name.dir 和 dfs.data.dir 下的内容，也就是保存的路径在哪里，然后删掉文件夹下的data和name文件夹，重新启动集群。
hadoop集群添加新的datanode节点
qq_42149844的博客
09-24 1737
hadoop集群节点不够用了，添加新的datanode方法,假设之前已经有1个namenode和3个datanode，分别是master、slave1、slave2，slave3 本文是自己做hadoop集群中时候自己遇到的配置方法，用自己的话记录下来，如果有什么不对的地方，还望大家多多包含指正！ 1、克隆虚拟机 。从之前安装的装有hadoop和jdk的干净的虚拟机克隆一份出来，命名为slave4 ，修改hostname和ip，还有/etc/hosts文件，这个文件是配置主机名和ip映射 2、彻...
CrateDB简介
11-29
CrateDB是基于NoSQL的分布式的SQL数据库，为machine data（传感器数据、日志数据、网络数据，物联网数据）打造的开源SQL数据库
tsbs：时间序列基准套件，用于比较和评估时间序列数据的数据库的工具
02-04
时间序列基准套件（TSBS） 此仓库包含用于对多个时间序列数据库进行基准测试的代码，其中包括TimescaleDB，MongoDB，InfluxDB，CrateDB和Cassandra。 该代码基于InfluxDB最初在公开的工作分支。 当前支持的数据库： Akumuli Cassandra ClickHouse CrateDB InfluxDB MongoDB SiriDB TimescaleDB 时间流 VictoriaMetrics 总览 时间序列基准套件（TSBS）是Go程序的集合，这些程序用于生成数据集，然后对各种数据库的读写性能进行基准测试。 目的是使TS
CrateDB初探（一）：CrateDB集群的Docker部署
Working hard and Focus
03-11 1814
"CrateDB底层沿用了ElasticSearch的源码，支持SQL语法，比ElasticSearch的使用更友好，也解决了ES不能多表join的问题......" — — 携程技术公众号 环境：Ubuntu 18.04 Docker19.03.6 参考：官方文档RUN CRATEDB ON DOCKER docker-compose.yml cra...
CrateDB初探（六）：在Kubernetes上部署CrateDB集群
Working hard and Focus
11-12 368
kind: StatefulSet apiVersion: "apps/v1" metadata: # This is the name used as a prefix for all pods in the set. name: crate namespace: cratedb spec: serviceName: "crate-internal-service" # Our cluster has three nodes. replicas: 3 select...
分布式数据库-CrateDB架构分析与源码阅读之搭建部署
u013970710的博客
12-08 876
这篇博客主要是讲CrateDB的部署环境和开发环境的搭建，搭建过程如果有任何问题欢迎随时在评论区交流 环境需求： Java版本>=11，无论是测试、生产环境的部署，还是本地开发环境都需要部署11.0以上版本的jdk，以及配置好JAVA_HOME。注意：CrateDB不能以root账号运行，以下所有命令都需要用一个非root执行。 这篇博客亲身试验在mac和centos下部署是可行的，如...
cratedb节点无法加入集群同步数据
weixin_35752122的博客
01-10 61
如果 CrateDB 节点无法加入集群同步数据，有几种可能的原因。 首先，确保 CrateDB 节点和集群中的其他节点都处于同一个网络中，并且可以互相通信。检查防火墙规则和网络连接是否配置正确。 其次，检查 CrateDB 的配置文件，确保每个节点都使用了正确的监听地址和通信端口。 确保所有节点都正在运行最新版本的 CrateDB。如果您的 CrateDB 节点正在使用旧版本，则可能会出现同步问题...
datanode进程宕掉解决方案
道听途说
06-12 2273
异常描述： hadoop跑一段时间以后几台datanode无故宕掉，chakna 异常分析： 解决方案：
译文：什么是CrateDB？
qq_42370150的博客
04-18 2275
摘要：CrateDB是构建在NoSQL基础之上的分布式SQL数据库，它结合了SQL的通晓程度和NoSQL的可扩展性和数据灵活性。 CrateDB CrateDB用于机器数据的分布式SQL数据库 什么是CrateDB？ CrateDB是构建在NoSQL基础之上的分布式SQL数据库，它结合了SQL的通晓程度和NoSQL的可扩展性和数据灵活性，使开发人员能够： 使用SQL处理结构化或非结...
crate部署（crateDB）
z619193774的博客
02-26 8025
crateDB部署 介绍 crateDB底层用elasticsearch开发，多表搜索和子查询功能要比elasticsearch强大很多。官网地址https://crate.io/ 部署步骤 1.安装java 我一般喜欢yum安装，如果没有特殊需要yum安装即可 #查看可以安装java哪些版本 yum list java* #选择好版本后进行安装 yum install ...
请简述HDFS写数据流程（假设有一个namenode节点和三个datanode节点，datanode节点名称简称dn1、dn2、dn3）
最新发布
05-23
HDFS写数据的流程如下： 1. 客户端向NameNode节点发送写数据请求，并提供要写入的文件的元数据信息和数据块的大小等信息。 2. NameNode节点接收到请求后，会根据一定的策略选择一个或多个DataNode节点作为数据块的存储位置，并返回给客户端可写入的DataNode节点列表。 3. 客户端根据可写入的DataNode节点列表，选择其中一个DataNode节点向其发送写数据请求，并将要写入的数据分成若干数据块。 4. 选中的DataNode节点接收到写数据请求后，会创建一个新的数据块，在本地存储该数据块，并将该数据块的副本复制到其他DataNode节点，以提高数据的可靠性。 5. 当一个数据块写入完成后，DataNode节点会向客户端发送写入成功的确认信息。 6. 当所有数据块都写入完成后，客户端向NameNode节点发送写完成的请求，NameNode节点会更新文件的元数据信息。 7. 最后，客户端向NameNode节点发送关闭文件的请求，表示文件已经写入完成并关闭。 需要注意的是，HDFS会对数据进行切块处理，每个数据块的大小默认为64MB，这也就意味着，当文件大小不足64MB时，HDFS将整个文件作为一个数据块来处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值