weixin_40315239的博客

原创 读kafka源码的笔记 (2) - Producer第一次获取Broker的metadata

原创 读kafka源码的笔记 (1) - 减少锁的持有时间

public RecordAppendResult append(TopicPartition tp, long timestamp, byte[] key, byte[] va...

原创 cdh 安装遇坑

systemctl start cloudera-scm-server 启动失败，且/var/log/cloudera-scm-server目录下没有日志 解决：根据官网要求，将JDK安装到指定目录 总结：不要浮躁，看英文文档要淡定 ...

原创 hql 计算连续10次之类的问题

今天看到一条hql题目如下： 核心思想：两个有序字段相减的值相同，小例子如下： list a = [1,2,4,5,6,7,8,10,11,12] (看作 test_id) list b = [1,2,3,4,5,6,7,8,9,10] （看作 row_number） 令list c = list a - list b list c = [0,0,1,1,1,1,1,2,2,2] 问题解决（没有...

原创 hive --service metastore 遇坑

执行：hive --service metastore -p 9083 报错：javax.jdo.JDODataStoreException: Required table missing : “VERSION” in Catalog “” Schema “”. DataNucleus requires this table to perform its persistence operation...

原创 一条好用的linux命令：查找含有某字符的文件

awk指定一个切割符 awk也可以指定多个切割符一起作用

原创 PCA原理及一个小例子

PCA要解决的问题：给出一个矩阵X，如何得到一个X的降维矩阵Y（进行降维的同时又尽量保留原始的信息） 解决思路： 1）要求：尽量保留原始的信息。即，使Y的行向量间的协方差为0，而每个行向量的方差尽可能大。 解决方案：使Y的协方差矩阵为对角矩阵 2）如何使Y的协方差矩阵为对角矩阵 解决方案： 3）如何降维 解决方案： 例题： 解： 最后验证一下，Y的协方差矩阵的确是一个对角矩阵，其对角元...