宝罗Paul 的博客

一、故障背景2021-02-17 早晨发现钉钉群“数据平台”在07:00发出告警：Flow data_warehouse status is RUNNING, totally 164 unsuccessful job, primarily because:dwa_vvip_page_user_trail_daily status:RUNNINGdwa_openplatform_xmfm_vip_listeninfo_daily status:RUNNINGdwa_vvip_marketing_sp

【导读】若HA-Hadoop集群的active NameNode频繁出现自动切换，则可能的原因有二：（1）ZKFC的健康检查超时时长设置不合理，导致ZKFC认为NN挂掉（实际上此时的NameNode是正常active的，即“NameNode假死现象”），从而引起自动切换active NN；（2）Zookeeper上的Session Timeout导致zookeeper的服务端丢弃了当前持有的active锁（是一个临时znode），导致自动切换。【故障现象】某天下午，钉钉群发出一条NameNode下

一、故障背景HDP 的Ambari控制台显示某台主机的RegionServer服务下线二、根本原因分析（RCA，Root Cause Analysis）（1）从Ambari控制台手动start RegionServer服务，失败。（2）检查这台主机上的RS有关日志，发现有多条记录：org.apache.hadoop.hbase.ClockOutOfSyncException: Server 172.25.224.4,16020,1613788579799 has been rejected

在web项目里出现高并发时，可以通过负载均衡来处理，redis的插槽分配机制就是一个负载均衡的模式。Redis集群节点复制介绍（1）Redis集群的每个节点都有两种角色可选：主节点master node、从节点slave node。其中主节点用于存储数据，而从节点则是某个主节点的复制品（2）当用户需要处理更多读请求的时候，添加从节点可以扩展系统的读性能，因为Redis集群重用了单机Redis...

nginx+keealived实现反向代理和负载均衡keealived服务工作在3层(IP)、4层(TCP)、5(应用层)nginx通过Virtual IP对外提供www服务，能通过算法实现后端web服务的负载均衡下列操作徐预先安装tengine，或者nginx。【第一部分】配置一个虚拟IP地址，只向外界暴露这个VIP以node1为例说明操作步骤。【第一步】添加http子模块upst...

pinpoint是韩国人开源的 APM (Application Performance Management/应用性能管理)工具 - Pinpoint。它基于google Dapper开发，目标就是为n(n>=1)层架构开发新的跟踪平台，为n层架构的系统提供解决方案。pinpoint能够对基于java的大规模分布式系统和应用做调用链的跟踪。pinpoint提供了一个web页面展示分布式系统...

目 录[第一章] 安装VSFTPD[第二章] 相关用户的创建，以及用户相关目录和文件的创建[第三章] VSFTP客户端的使用[第四章] 实施大数据文件的异地灾备业务需求：对云主机的大数据做远程灾备（把云主机上的数据在其他的机器上做定期备份），以便云主机数据丢失后的恢复。ftp客户端用户的权限：每个用户只能在自己的根目录执行ls、mkdir、put；不允许删除自己根目录下的文件，不允许删...