wflh323的专栏

查看hbase监控读请求量几十万，而在hbase master ui上请求量只有几千，分配也不均衡大部分分布在hbase:meta所在服务器上，查看应用请求错误日志，发现错误堆栈是在做scan，抛出异常代码为判断表是否存在tableExists。hbase查询数据是先要查询hbase:meta表的获取数据所在regionserver 和region信息，一般hbase client创建连接几个请求下来hbase:meta都会缓存到本地不会频繁的去scan hbase:meta。

alter语句在hive metastore中执行，在hive metastore 搜索error日志，发现报栈溢出java.lang.StackOverflowError.... ,StackOverflow 这个问题一般是程序里可能是有死循环或递归调用所产生的,或递归太深，在SQLText类中的toSQL()方法报出的，这个方法本身就是个递归方法。alter.....add columns 后面加了几十个字段，将字段一个个添加解决。Unable to alter table. null 错误日志。

cdh集群zookeeper集群死亡

flink在实时计算方面越来越受欢迎，为了降低开发难度成本很多公司开始研发flink开发平台，业务开发只需写sql就行。flink ververica公司开源了flink-sql-gateway,flink-jdbc-driver 两个项目，使flink开发可以像mr一样写sql。不过这两个项目现在都没更新了，flink官方打算在1.16中支持 flink jdbc。还可以基于zeppelin flink sdk去开发。我基于flink-sql-gateway开发了个简易的flink sql开发平台。...

于是出差客户行，查看这两台datanode的日志，发现没有啥错误日志，除了频繁gc,还出现了大量slow 日志，怀疑网络，磁盘问题，监控没有发现异常，也没发现其它异常。想了下是不是它本身就是内存不足呢，于是查看datanode上的数据块分布，发现新增的这两台服务器上的数据块是其它节点的4倍，datanode频繁重启原因找到了，就是块太多内存不够，调大内存后（调大到了几十个G，100w个块1G）datanode就没出现过重启，服务恢复正常。...

cdh orc bug

下载tez源码编译,0.8支持hadoop2.6+，0.9支持hadoop2.7+,cdh5.x使用hadoop2.6这里下载tez-0.8.5Apache Downloadstar -zxvf tez-0.8.5.tar.gz 安装编译环境2.1安装JDK1.82.2安装Maven3下载安装包：apache-maven-3.5.4-bin.tar.gztar -zxvf apache-maven-3.5.4-bin.tar.gz -C /usr/local/software/m...

Kubernetes是Google开源的一个容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。k8s能减少运维开发工作量，节省资源。主要功能：自我修复：一旦某一个容器崩溃，能够迅速启动新的容器 弹性伸缩：可以根据需要，自动对集群中正在运行的容器数量进行调整 服务发现：服务可以通过自动发现的形式找到它所依赖的服务 负载均衡：如果一个服务起动了多个容器，能够自动实现请求的负载均衡 版本回退：如果发现新发布的程序版本有问题，可以立即回退到原来的版本 存储编排：可以根据容器自...

cdh默认都是使用FairScheduler调度，cdp后改为Capacity Scheduler。Capacity Scheduler支持标签调度，可以将不同类型任务调度到不同物理服务器上，进行隔离。1.登录cm管理控制台，选择CapacityScheduler2. 在“容量调度程序配置高级配置代码段（安全阀）”配置队列xml配置如下：<configuration><property><name>yarn.scheduler.capacit...

升级到CDH6.3.2 发现hue中使用oozie有些问题，在运行页面无法直接点击查看日志。定位问题后，从github hue 源码中找到最新的代码，对比一下发现了差异。按照最新代码修改，重启后异常修复。修复方法：hue/apps/oozie/src/oozie/templates/dashboard/list_oozie_workflow_graph.mako第90行修改为：var actionName = actionId.toLowerCase().substr(actionId.l.

通过前面hadoop rpc demo我们可以看出主要代码是Server 类。通过Server 类的代码分析，我们看下整个服务端的执行过程。 1.通过Listener启动SocketServer服务监听连接请求：Listener(int port) throws IOException { address = new InetSocketAddress(bindAddress, port); // Create a new server socket and set...

理解了rpc实现原理就可以很容易看懂hadoop rpc。hadoop rpc类在hadoop-common包中的org.apache.hadoop.ipc下。我们看下使用hadoop rpc 编写的一个例子:package com.wf.hadoop.rpc;public interface ClientProtocol { long versionID = 1; String print(String messate);}package com.wf.hadoop...

随着微服务，分布式应用兴起，RPC也成了面试中的高频问题。我们今天就来说说RPC的实现原理。 RPC是远程过程调用，服务间的通讯都是基于TCP/IP网络通讯协议进行。客户端组装请求数据，通过socket发送给服务端，服务端接收请求，调用本地方法执行，通过socket把结果写回客户端。RPC框架都是基于socket封装客户端，服务端，拆解包，序列化，反序列化等一系列操作，简化用户开发，让用户使用时就像本地方法调用一样。我们平常使用的dubbo，motan，spring could...

在工作中偶尔用户会反馈数据量不到但执行sql一直没结果，这时候可以排查下表是否被锁。表锁相关操作命令如下showlocks表名--查看表锁,showlocks表名partition(...)--查看分区锁,unlocktable表名;--解锁表unlocktable表名partition(dt='2014-04-01');--解锁某个分区...

安装完atlas后执行create table xxas select xx 语句测试创建血缘关系图，语句中使用的表都是刚创建的血缘关系会创建出来，过几分钟再用同样的语句创建另一张表，查看atlas发现没有血缘关系，使用其它已存在的表同样出现这个问题。查看atlas日志发现后台报唯一约束异常，查看代码发现atlas 会缓存刚创建的表，超时就清掉缓存，缓存没有的表就认为是新表唯一的，构造关系数据写入janusgraph,就触发了janusgraph唯一性约束检查，写入失败。觉得这种程序应该有配置控制存...

TipDM建模平台 tipdm开源的python机器学习建模平台，用户通过拖拉就可以实现模型开发。项目结构backend :为java后台服务代码frontedn :为vue js前端代码mock-oauth-server：为java认证服务代码主要分析backend后台服务代码，典型的java spring mvc web项目，项目结构如下:framework-common：公共代码,主要为工具类，spring相关公用类framework-model: 实体..

开发flink读写hbase的程序时遇到总是连接本地localhost:2181 zookeeper的异常，demo如下:代码总明明配置了zookeeper地址，执行时却总连接本地，跟踪代码发现，其创建连接并没有使用该配置，而是默认读取类路径下的hbase-site.xml配置文件，所以添加hbase配置文件，运行正常。以下是平时flink测试时使用的依赖，供参考。<properties> <spark.version>2.2.0</spark.ve.

sqoop导数失败，异常日志：java.io.IOException: 0.00149538554284945409038360094760876373868438891233028512477697236907921983118594701374880207023210232364363037049770355224609375 is greater than 0.001281757140...

flink1.10对ddl这块支持比较完善，最近用java写了个ddl kafka的demo测试。在ide本地环境中执行没有问题，但将任务打包提交的flink 集群时提交就报错，无法执行，异常如下：看异常好像是ddl写错了，本地运行正常，说明没有问题。使用flink sql-client客户端测试报一样的错，flink lib下没有对应的包，将包放到lib下，使用sql-client执行...

最近hbase查询出现异常，hbase监控都正常，异常如下：hbase(main):003:0> get 'w:t','xxxx'COLUMN CELL ...