hadoop
54MD
这个作者很懒,什么都没留下…
展开
-
insert overwrite 长时间卡后报错
报错:执行insert overwrite,长时间卡住,为将任务提交到yarn上,等待很长时间后,会报如下信息:Error in acquiring locks: Locks on the underlying objects cannot be acquired. retry after some time): Error while processing statement: FAILED: Error in acquiring locks:Locks on the underlying obj原创 2020-11-05 10:16:46 · 1470 阅读 · 0 评论 -
elasticsearch_shield插件
使用命令:创建管理员用户bin/shield/esusers useradd es_test -r admin登录管理员用户curl -u es_test -XGET http://192.168.1.85:9200如果出现失败,可能需要在/etc/elasticsearch/elasticsearch.yml中加入下面的内容:shield:authc:realms...原创 2019-02-01 12:18:38 · 371 阅读 · 0 评论 -
kafka 添加节点或者删除节点
扩展您的群集将服务器添加到Kafka集群很简单,只需为它们分配一个唯一的代理ID并在新服务器上启动Kafka即可。但是,这些新服务器不会自动分配任何数据分区,因此除非将分区移动到它们,否则在创建新主题之前它们不会执行任何工作。因此,通常在将计算机添加到群集时,您需要将一些现有数据迁移到这些计算机。迁移数据的过程是手动启动的,但完全自动化。发生的事情是,Kafka将添加新服务器作为其正在迁移...翻译 2018-12-11 12:08:22 · 9440 阅读 · 1 评论 -
kafka 自定义分区分配和迁移
自定义分区分配和迁移分区重新分配工具还可用于选择性地将分区的副本移动到特定的代理集。当以这种方式使用时,假设用户知道重新分配计划并且不需要工具生成候选重新分配,有效地跳过 - 生成步骤并直接移动到--execute步骤例如,以下示例将主题foo1的分区0移动到代理5,6,将主题foo2的分区1移动到代理2,3:第一步是在json文件中手工制作自定义重新分配计划: 1 ...翻译 2018-12-11 12:09:56 · 776 阅读 · 0 评论 -
kafka限制数据迁移期间的带宽使用
限制数据迁移期间的带宽使用Kafka允许您对复制流量应用限制,设置用于将副本从一台机器移动到另一台机器的带宽的上限。这在重新平衡群集,引导新代理或添加或删除代理时非常有用,因为它限制了这些数据密集型操作对用户的影响。 有两个接口可用于接合油门。最简单,最安全的是在调用kafka-reassign-partitions.sh时应用节流,但kafka-configs.sh也可用于直接查看和...翻译 2018-12-11 13:07:23 · 2130 阅读 · 0 评论 -
Kafka 集群调优
使用默认的Kafka参数配置你就能够从零搭建起一个Kafka集群环境用于开发及测试之用,但默认配置通常都不匹配你的生产环境,因此必须要做某种程度的调优。毕竟不同的使用场景有着不同的使用需求和性能指标。而Kafka提供的各种参数就是为了优化这些需求和指标的。Kafka提供了很多配置供用户设置以确保搭建起来的Kafka环境是能够满足需求目标的,因此详细地去调研这些参数的含义以及针对不同参数值进行测试是...转载 2018-12-11 15:48:10 · 413 阅读 · 0 评论 -
es分片迁移
集群节点临时重启当修改配置时可能需要重启集群才生效,或者集群发生严重错误无法恢复时都可能需要重启集群一个集群节点重启前要先临时禁用自动分配,设置cluster.routing.allocation.enable为none,否则节点停止后,当前节点的分片会自动分配到其他节点上,本节点启动后需要等其他节点RECOVERING后才会RELOCATING,也就是分片在其他节点恢复后又转移回来,浪费大量...原创 2018-12-20 11:26:12 · 1511 阅读 · 0 评论 -
es 相关
ES平衡节点的时候不向上面分配分片,或者更进一步直接将原有分片“赶出去可以尝试使用下面的命令curl -XPUT 'localhost:9200/_cluster/settings' -d'{ "transient": { "cluster.routing.allocation.exclude._ip": "192.168.0.1,192.168.0.2" }}'...转载 2018-12-20 17:06:02 · 129 阅读 · 0 评论 -
hadoop dfsadmin
hadoop dfsadmin -safemode getdfsadmin命令详解 -report:查看文件系统的基本信息和统计信息。-safeadmin enter | leave | get | wait:安全模式命令。安全模式是NameNode的一种状态,在这种状态下,NameNode不接受对名字空间的更改(只读);不复制或删除块。NameNode在启动时自动进入安全模式,当配置...原创 2018-11-30 15:30:24 · 311 阅读 · 0 评论 -
hadoop safemode
hadoop dfsadmin -safemode enter 进入 leave 离开 get 获取 wait原创 2018-11-30 15:27:42 · 217 阅读 · 0 评论