weixin_40315239的博客

原创 读kafka源码的笔记 (2) - Producer第一次获取Broker的metadata

原创 读kafka源码的笔记 (1) - 减少锁的持有时间

public RecordAppendResult append(TopicPartition tp, long timestamp, byte[] key, byte[] va...

原创 cdh 安装遇坑

systemctl start cloudera-scm-server 启动失败，且/var/log/cloudera-scm-server目录下没有日志解决：根据官网要求，将JDK安装到指定目录总结：不要浮躁，看英文文档要淡定...

原创 hql 计算连续10次之类的问题

今天看到一条hql题目如下：核心思想：两个有序字段相减的值相同，小例子如下：list a = [1,2,4,5,6,7,8,10,11,12] (看作 test_id)list b = [1,2,3,4,5,6,7,8,9,10] （看作 row_number）令list c = list a - list blist c = [0,0,1,1,1,1,1,2,2,2]问题解决（没有...

原创 hive --service metastore 遇坑

执行：hive --service metastore -p 9083报错：javax.jdo.JDODataStoreException: Required table missing : “VERSION” in Catalog “” Schema “”. DataNucleus requires this table to perform its persistence operation...

原创 一条好用的linux命令：查找含有某字符的文件

awk指定一个切割符awk也可以指定多个切割符一起作用

原创 PCA原理及一个小例子

PCA要解决的问题：给出一个矩阵X，如何得到一个X的降维矩阵Y（进行降维的同时又尽量保留原始的信息）解决思路：1）要求：尽量保留原始的信息。即，使Y的行向量间的协方差为0，而每个行向量的方差尽可能大。解决方案：使Y的协方差矩阵为对角矩阵2）如何使Y的协方差矩阵为对角矩阵解决方案：3）如何降维解决方案：例题：解：最后验证一下，Y的协方差矩阵的确是一个对角矩阵，其对角元...