hadoop
kevin_wf
总结分享java,大数据相关开发运维工作,欢迎交流,共同进步
展开
-
Hadoop Datanode频繁重启
于是出差客户行,查看这两台datanode的日志,发现没有啥错误日志,除了频繁gc,还出现了大量slow 日志,怀疑网络,磁盘问题,监控没有发现异常,也没发现其它异常。想了下是不是它本身就是内存不足呢,于是查看datanode上的数据块分布,发现新增的这两台服务器上的数据块是其它节点的4倍,datanode频繁重启原因找到了,就是块太多内存不够,调大内存后(调大到了几十个G,100w个块1G)datanode就没出现过重启,服务恢复正常。...原创 2022-08-06 21:39:44 · 881 阅读 · 0 评论 -
cdh6启用Capacity Scheduler
cdh默认都是使用FairScheduler调度,cdp后改为Capacity Scheduler。Capacity Scheduler支持标签调度,可以将不同类型任务调度到不同物理服务器上,进行隔离。1.登录cm管理控制台,选择CapacityScheduler2. 在“容量调度程序配置高级配置代码段(安全阀)”配置队列xml配置如下:<configuration><property><name>yarn.scheduler.capacit...原创 2021-11-08 17:21:40 · 1332 阅读 · 0 评论 -
hadoop RPC详解(3)--hdfs rpc server代码分析
通过前面hadoop rpc demo我们可以看出主要代码是Server 类。通过Server 类的代码分析,我们看下整个服务端的执行过程。 1.通过Listener启动SocketServer服务监听连接请求:Listener(int port) throws IOException { address = new InetSocketAddress(bindAddress, port); // Create a new server socket and set...原创 2021-01-20 20:57:05 · 374 阅读 · 0 评论 -
hadoop RPC详解(2)--hdfs rpc client代码分析
理解了rpc实现原理就可以很容易看懂hadoop rpc。hadoop rpc类在hadoop-common包中的org.apache.hadoop.ipc下。我们看下使用hadoop rpc 编写的一个例子:package com.wf.hadoop.rpc;public interface ClientProtocol { long versionID = 1; String print(String messate);}package com.wf.hadoop...原创 2021-01-20 20:14:03 · 708 阅读 · 0 评论 -
hadoop RPC详解(1)--RPC基本原理
随着微服务,分布式应用兴起,RPC也成了面试中的高频问题。我们今天就来说说RPC的实现原理。 RPC是远程过程调用,服务间的通讯都是基于TCP/IP网络通讯协议进行。客户端组装请求数据,通过socket发送给服务端,服务端接收请求,调用本地方法执行,通过socket把结果写回客户端。RPC框架都是基于socket封装客户端,服务端,拆解包,序列化,反序列化等一系列操作,简化用户开发,让用户使用时就像本地方法调用一样。我们平常使用的dubbo,motan,spring could...原创 2021-01-19 19:59:42 · 505 阅读 · 0 评论 -
hive metastore server Failed to sync requested HMS notifications up to the event ID xxxxx
最近遇到hive执行create,drop table语句时出现延时其它语句正常,平时秒级现在都需要200s才完成。经过排查发现有个用户使用手机号做动态分区字段,导致一下有上百万分区写入,hive metastore server出现问题,线程数飙升至1k多,内存升高。将任务停止后线程数下降,内存下降恢复正常水平,但是create,drop table还是不正常耗时200s才执行完成。sen...原创 2019-12-20 09:00:18 · 1672 阅读 · 0 评论 -
cdh集群hive 启用HA
hive 在离线分析,数仓中是最常用的工具,业务人员不需要熟悉mr,编程基础就可以通过sql操作数据。hive 的性能及稳定性在生产中必须保证。hive可以通过HAPROXY进行多节点负载均衡来达到目的。 hive Metastore 开启HA 1. 进入hive服务配置, 搜索DBTokenStore,选择 org.apache.hadoop.hive.thrif...原创 2019-08-12 22:06:58 · 2120 阅读 · 0 评论 -
cdh集群hdfs namenode HA
hdfs namenode的健康关系整个集群是否能正常运行,生产为了集群的高可用必须开启HA。社区版需要手动修改配置文件进行开启。使用cloudera manager只需在界面根据向导执行即可。操作步骤:1. 在hdfs - 操作 -选择启用HA2. 填写nameservice名称3.选择另外一台服务器安装namenode ,三个或5个节点安装journalnod...原创 2019-08-09 21:44:29 · 1183 阅读 · 0 评论 -
cdh集群resource manager启用 HA
resource manager关系整个集群的任务运行,在生产上必须保证高可靠。resource manager和hdfs namenode的一样自身实现了HA,只需开启,出现异常时会自动切换到正常的resourcemanger。通过cloudera manger管理界面启用resource manager HA。1. 在yarn界面操作,选择启用HA 2..选择另一个节点...原创 2019-08-09 21:44:54 · 1113 阅读 · 0 评论